--- language: - sv - en - 'no' - da license: mit tags: - pretrained - flashback - web - conversational models: - timpal0l/Mistral-7B-v0.1-flashback-v2-instruct pipeline_tag: text-generation widget: - text: Jag tycker att det Ă€r roligt med model-index: - name: Mistral-7B-v0.1-flashback-v2 results: - task: type: text-generation name: Text Generation dataset: name: AI2 Reasoning Challenge (25-Shot) type: ai2_arc config: ARC-Challenge split: test args: num_few_shot: 25 metrics: - type: acc_norm value: 57.17 name: normalized accuracy source: url: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=timpal0l/Mistral-7B-v0.1-flashback-v2 name: Open LLM Leaderboard - task: type: text-generation name: Text Generation dataset: name: HellaSwag (10-Shot) type: hellaswag split: validation args: num_few_shot: 10 metrics: - type: acc_norm value: 80.74 name: normalized accuracy source: url: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=timpal0l/Mistral-7B-v0.1-flashback-v2 name: Open LLM Leaderboard - task: type: text-generation name: Text Generation dataset: name: MMLU (5-Shot) type: cais/mmlu config: all split: test args: num_few_shot: 5 metrics: - type: acc value: 59.98 name: accuracy source: url: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=timpal0l/Mistral-7B-v0.1-flashback-v2 name: Open LLM Leaderboard - task: type: text-generation name: Text Generation dataset: name: TruthfulQA (0-shot) type: truthful_qa config: multiple_choice split: validation args: num_few_shot: 0 metrics: - type: mc2 value: 40.66 source: url: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=timpal0l/Mistral-7B-v0.1-flashback-v2 name: Open LLM Leaderboard - task: type: text-generation name: Text Generation dataset: name: Winogrande (5-shot) type: winogrande config: winogrande_xl split: validation args: num_few_shot: 5 metrics: - type: acc value: 77.19 name: accuracy source: url: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=timpal0l/Mistral-7B-v0.1-flashback-v2 name: Open LLM Leaderboard - task: type: text-generation name: Text Generation dataset: name: GSM8k (5-shot) type: gsm8k config: main split: test args: num_few_shot: 5 metrics: - type: acc value: 29.42 name: accuracy source: url: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=timpal0l/Mistral-7B-v0.1-flashback-v2 name: Open LLM Leaderboard --- # 🐈‍⬛ Mistral-7B-v0.1-flashback-v2 ![](https://huggingface.co/timpal0l/Mistral-7B-v0.1-flashback-v2/resolve/main/flashcat.png?download=true) Mistral-7B-v0.1-flashback-v2 is a continuation of the pretraining process for the base Mistral-7B-v0.1 model, utilizing 2 251 233 forum threads from the Swedish website https://www.flashback.org/. Which is rougly 40GB of text. It is a full finetune for one epoch. * GGUF Version available [**Here**](https://huggingface.co/timpal0l/Mistral-7B-v0.1-flashback-v2-GGUF) * Instruct version [**Here**](https://huggingface.co/timpal0l/Mistral-7B-v0.1-flashback-v2-instruct) ## How to use: ```python import torch from transformers import AutoTokenizer, AutoModelForCausalLM model_name = "timpal0l/Mistral-7B-v0.1-flashback-v2" device = "cuda:0" if torch.cuda.is_available() else "cpu" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForCausalLM.from_pretrained(model_name) model.eval() model.to(device) prompt = "Idag Ă€r det den bĂ€sta" input_ids = tokenizer(prompt, return_tensors="pt")["input_ids"].to(device) generated_token_ids = model.generate( inputs=input_ids, max_new_tokens=256, do_sample=True, temperature=0.8, top_p=1, )[0] generated_text = tokenizer.decode(generated_token_ids) generated_text ``` ``` Idag Ă€r det den bĂ€sta dagen i hela veckan, för nu tar det slut!\n\n>! GnĂ€llfesten!\n\nJag sitter hĂ€r, oerhört förvirrad, och försöker förstĂ„ varför vi ens mĂ„ste fortsĂ€tta att existera efter döden. Jag menar, jag förstĂ„r ju egentligen att det aldrig kan ta slut, eller inte "ta slut" i den bemĂ€rkelsen att materian försvinner, men det Ă€r inte det jag pratar om.\n\nDöden, det faktum att man dör och aldrig kan uppleva livet igen. Det som Ă€r liv och ger livet en mening, det försvinner i döden. Och sen börjas det om, om och om igen. Varför behöver vi sĂ„ mĂ„nga liv? Vi Ă€r ju inte ens medvetna av att vi nĂ„gonsin har levt, sĂ„ varför ska vi komma hit och bli medvetna hela tiden?\n\nDet hĂ€r Ă€r en sĂ„dan frĂ„ga som jag aldrig kan fĂ„ ``` ## Data Format: To mimic the data format used in pre-training it has the following structure: ```html # Thread_Title username_thread_creator: Hello, this is my thread... username_user_1: This is a response to the thread, without qouting anything. username_user_2: > username_user_1: This is a response to the thread, without qouting anything. I am now quoting username_user_1... ``` ### Random training sample: ```html # Tips om aktiviter och sevĂ€rdheter i Stockholm för nĂ„gon med funktionsnedsĂ€ttning Roozbeh: Hej! Jag jobbar som assistent Ă„t en kille pĂ„ ett stödboende. NĂ€sta vecka Ă„ker han, jag och en kollega till Stockholm och han Ă€r superpeppad pĂ„ att se sig omkring. Har ni nĂ„gra guld tips? FĂ„r gĂ€rna ge förslag bĂ„de dag och kvĂ€llstid om ni kommer pĂ„ nĂ„got. Vi har redan tĂ€nkt pĂ„ att se slottet. Och gamla staden, finns dĂ€r nĂ„got kanske? Bra cafen/restauranger som inte Ă€r allt för dyra. NĂ„gra stĂ€llen som man bara mĂ„ste se eller göra i Stockholm? Han Ă€r inte rullstolsbunden ska nĂ€mnas, Ă€r ung och i ganska bra kondition fysiskt. Alla tips Ă€r vĂ€lkomna tack! AnnĂ©a: Beror lite pĂ„ vad man gillar. Om ni Ă€ndĂ„ Ă€r vi Slottet sĂ„ har ni ju dom stora turistgatorna i Gamla Stan runt hörnet precis, dock inget stĂ€lle man vill gĂ„ pĂ„ om man tycker det Ă€r jobbigt med folk och att trĂ€ngas och ingenstans dĂ€r man Ă€ter sĂ€rskilt bra eller billigt. Laust: Åka upp pĂ„ globen funkar med rullstol Thomaz: VĂ€lkomna! 🙂 Vad har han för intressen? Är ni Ă€ndĂ„ pĂ„ slottet kan jag rekommendera livrustkammaren, dĂ€r klĂ€der och attiraljer sĂ„som vagnar (och Ă€ven uppstoppade hĂ€star) frĂ„n svenska kungligheter Ă€r utstĂ€llda. Anne-Jorunn: Gröna Lund och skansen Ă€r guld, om hen klarar av att Ă„ka karusell sĂ„ gĂ„r ni ocksĂ„ förbi alla köer om du Ă€r stödperson. Abba museumet, Vasamuseumet, militĂ€rhistoriska museet, tekniska museet, Junibacken. Finns mycket bra. Annars kan det vara skoj att gĂ„ runt pĂ„ Mall of Scandinavia, skönt att vara inne med toaletter inom rĂ€ckhĂ„ll. Muscab: > Roozbeh: Hej! > > Jag jobbar som assistent Ă„t en kille pĂ„ ett stödboende. > NĂ€sta vecka Ă„ker han, jag och en kollega till Stockholm och han Ă€r superpeppad pĂ„ att se sig omkring. > Har ni nĂ„gra guld tips? > FĂ„r gĂ€rna ge förslag bĂ„de dag och kvĂ€llstid om ni kommer pĂ„ nĂ„got. > Vi har redan tĂ€nkt pĂ„ att se slottet. > Och gamla staden, finns dĂ€r nĂ„got kanske? > Bra cafen/restauranger som inte Ă€r allt för dyra. > NĂ„gra stĂ€llen som man bara mĂ„ste se eller göra i Stockholm? > Han Ă€r inte rullstolsbunden ska nĂ€mnas, Ă€r ung och i ganska bra kondition fysiskt. > Alla tips Ă€r vĂ€lkomna tack! Jag tror de mesta platser Ă€r ganska ovĂ€nliga för rullstol. Backar, grusvĂ€gar, kullersten, trĂ„nga dörrar, trappor. Finns det nĂ„gon restaurang/cafĂ© som Ă€r billig och rullstolsvĂ€nlig? Vet inte. Köp ett paket glassar pĂ„ ica istĂ€llet. NĂ„got man mĂ„ste göra i Stockholm? Det finns inte mycket att se. Turister brukade gĂ„ runt i gamla stan och titta pĂ„ tunnelbanestationer. AnnĂ©a: > Muscab: Jag tror de mesta platser Ă€r ganska ovĂ€nliga för rullstol. Backar, grusvĂ€gar, kullersten, trĂ„nga dörrar, trappor. Finns det nĂ„gon restaurang/cafĂ© som Ă€r billig och rullstolsvĂ€nlig? Vet inte. Köp ett paket glassar pĂ„ ica istĂ€llet. > > NĂ„got man mĂ„ste göra i Stockholm? Det finns inte mycket att se. Turister brukade gĂ„ runt i gamla stan och titta pĂ„ tunnelbanestationer. Han sitter ju INTE i rullstol... Tharsika: Vad har han för problematik? Vad kan störa/vara svĂ„rt för honom ? Rullstol ? Kramp? UtĂ„tagerande ? Muscab: > AnnĂ©a: Han sitter ju INTE i rullstol... LĂ€ste fel. đŸ€Š Boine: ArmĂ©museum Historiska museet Åka djurgĂ„rdsfĂ€rjan alt. ”SkĂ€rgĂ„rdstur” med SL Utsikt pĂ„ Södermalm + promenaden dit. Mariaberget & MonteliusvĂ€gen Gamla stan - MĂ„rten Trotzig grĂ€nd samt kanonkulorna i husvĂ€ggen nĂ„gra meter frĂ„n Stortorget MĂ„lningar i tunnelbanan Spela Ă€ventyrsgolf inomhus Se guldbron - Slussen Utsikt Katarinahissen - Slussen, man gĂ„r in i porten till Gondolen (nog nerlagd) tar hissen lĂ€ngst upp och gĂ„r en vĂ„ning upp annars fĂ„r man gĂ„ dit bakvĂ€gen onödigt lĂ„ngt. GĂ„ hela Drottninggatan Slottet ev tajma in vaktavlösning Kolla om det finns nĂ„got personen har intresse av/om, finns en hel gratis museum Roozbeh: Vilka bra tips! Tack allihopa vad fint av er att bidra! SĂ„ uppskattat verkligen 🙂 Nu Ă€r vi Ă„ter hemma igen efter resan till Stockholm. Resan gick jĂ€ttebra, vi planerade noga och gjorde det mesta av tid med hĂ€nsyn till funktionsnedsĂ€ttningen. Vi gick sĂ„klart efter vad han sjĂ€lv önskade göra och gav förslag pĂ„ vad Stockholm erbjuder. DĂ„ vi bara var i Stockholm under ca 24 timmar mĂ„ste jag sĂ€ga att vi fick gjort mycket mer Ă€n vi vĂ€ntade oss. Vi hade ingen bil. IstĂ€llet köpte vi ett 24 tim kort för kollektivtrafiken och med hjĂ€lp av SL appen och google maps navigerade jag runt oss i staden. Hotellet vi bodde pĂ„ lĂ„g nĂ€ra Centralstationen. Detta gjorde vi: Gick runt hela Gamla Stan. Åt pĂ„ restaurang dĂ€r samt i Vasaplan och Ă€ven fikade pĂ„ diverse cafĂ©er i Gamla Stan. Vi sĂ„g det Kungliga slottet bĂ„de inuti och utanpĂ„, var uppskattat! Han tyckte det var sĂ„ hĂ€ftigt. Strosade runt i alla grĂ€nder, torg och gator i Gamla Stan, gick in i trevliga smĂ„ butiker och tog fina foton! Vi tittade pĂ„ alla bĂ„tar i hamnen. Parlamentet. Stadshuset. Vi gick in pĂ„ diverse olika stĂ€llen vi gick förbi som han impulsivt kĂ€nde dragning till. Typ karaokebar, kulturhuset, pubbar etc. Allt han kĂ€nde för gjorde vi. Det var hans resa 100 %. Åkte med fĂ€rja till DjurgĂ„rden och besökte ABBA museet dĂ€r han fick lyssna pĂ„ sĂ„nger, se rekvisita, sjunga och t.om Ă„ka helikopter i VR. Vi shoppade ocksĂ„ sĂ„klart dĂ„ Stockholm har sĂ„ mĂ„nga butiker!(Hela Drottninggatan och stĂ€llen pĂ„/nĂ€ra Vasaplan) Under resan interagerade han med en massa Stockholmare. Sade till flertalet tjejer att han Ă€lskade dom haha vilket charmör! Vi gick förbi en högvakt vid slottet som han hĂ€lsade pĂ„. Det var en hon, och vakten rörde inte en min men följde honom med blicken. Givetvis fick vi sĂ€ga det att dom inte pratar med nĂ„gon dĂ„ det ingĂ„r i jobbet etc. Han blev bemött med respekt och ömhet av de flesta ska sĂ€gas. Han var glad över att ha fĂ„tt prata med sĂ„ mĂ„nga mĂ€nniskor. Vi stannade ofta dĂ„ han ville frĂ„ga t.ex poliser eller andra arbetare om saker, alla var gulliga och vĂ€nliga mot honom. Vi Ă„kte under resan buss, tunnelbana(ocksĂ„ en önskan att fĂ„ göra) och fĂ€rjor till olika fĂ€rjterminaler för att fĂ„ se Stockholm frĂ„n vattnet. SĂ„g ocksĂ„ Sergels Torg pĂ„ kvĂ€llen eller "Plattan" som jag tror den ocksĂ„ kallas. En pelare var vackert upplyst i blĂ„tt ljus dĂ€r och han berĂ€ttade exalterat om hur mĂ„nga filmer han sett som har plattan som scenplats etc. KvĂ€llen bjöd pĂ„ solnedgĂ„ngen frĂ„n hotellets tak. Åt en fantastisk frukostbuffĂ© pĂ„ morgonen med flera omgĂ„ngar god mat! HĂ€rligt att han njöt. DĂ„ han faktiskt har en fysisk och kognitiv nedsĂ€ttning Ă€r vi sĂ„ glada att han orkade sĂ„ mycket! BĂ€st av allt sa han sig vara vĂ€ldigt nöjd med resan. Vi ska nu planera fler resor till Stockholm i framtiden. DĂ„ gör vi fler saker, sĂ„nt vi inte hann med den hĂ€r gĂ„ngen. Var lite begrĂ€nsat med tid(24 timmar) samt behövde vi tĂ€nka pĂ„ att energi skulle rĂ€cka till utan att kroppen skulle triggas till att hans nedsĂ€ttnings symptom blossade upp. Behövs ju givetvis pauser med jĂ€mna mellanrum dĂ„. Tack och lov för apparna som jag kunde leda oss efter. Att Ă„ka kollektivt hade varit svĂ„rt annars och jag kunde se efter kartan var vĂ„ra besöksmĂ„l lĂ„g samt vilka vĂ€gar som kunde spara oss onödig tid. Tack ska ni ha för tipsen, igen. Tack till Stockholm för att ni tog emot oss med respekt han var sĂ„ nöjd med resan. Hej sĂ„ lĂ€nge, vi kommer Ă„ter i framtiden! 😁 ``` # [Open LLM Leaderboard Evaluation Results](https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard) Detailed results can be found [here](https://huggingface.co/datasets/open-llm-leaderboard/details_timpal0l__Mistral-7B-v0.1-flashback-v2) | Metric |Value| |---------------------------------|----:| |Avg. |57.53| |AI2 Reasoning Challenge (25-Shot)|57.17| |HellaSwag (10-Shot) |80.74| |MMLU (5-Shot) |59.98| |TruthfulQA (0-shot) |40.66| |Winogrande (5-shot) |77.19| |GSM8k (5-shot) |29.42|