adding more examples

app.py

@@ -25,6 +25,7 @@ models = ["meta-llama/Llama-2-7b-chat-hf",           # LLAMA-2
           "TWO/sutra-mlt256-v2"]                     # SUTRA
 
 test_phrase_set = [
+    "I am going for a walk later today",
     "நாங்கள் சந்திரனுக்கு ராக்கெட் பயணத்தில் இருக்கிறோம்",
 
     "중성자 산란을 다섯 문장으로 설명해주세요",  # Korean,
@@ -48,6 +49,7 @@ test_phrase_set = [
 
 test_phrase_set_long_1 = load_test_phrases('multilingualphrases01.txt')
 test_phrase_set_long_2 = load_test_phrases('multilingualphrases02.txt')
+test_phrase_set_long_3 = load_test_phrases('multilingualphrases03.txt')
 
 
 def generate_tokens_as_table(text):
@@ -85,7 +87,7 @@ def generate_tokenizer_table(text):
 
     output = []
     for m in models:
-        row = [m, vocab_size[m], word_count, token_counts[m], token_counts[m] / word_count]
+        row = [m, vocab_size[m], word_count, token_counts[m], f"{token_counts[m] / word_count:0.2f}"]
         output.append(row)
 
     return output
@@ -117,6 +119,7 @@ with gr.Blocks() as sutra_token_count:
     examples = [
         [' '.join(test_phrase_set_long_1)],
         [' '.join(test_phrase_set_long_2)],
+        [' '.join(test_phrase_set_long_3)],
     ]
     gr.Examples(examples=examples, inputs=[textbox])
     submit_button.click(generate_split_token_table, inputs=[textbox], outputs=[output])

data/multilingualphrases03.txt

@@ -0,0 +1,21 @@
+በጠፈር መንኮራኩር ወደ ማርስ ለመድረስ ምን ያህል ጊዜ ይወስዳል?
+ಮಂಗಳ ಗ್ರಹಕ್ಕೆ ಹೋಗಲು ಬಾಹ್ಯಾಕಾಶ ನೌಕೆ ಎಷ್ಟು ಸಮಯ ತೆಗೆದುಕೊಳ್ಳುತ್ತದೆ?
+ମଙ୍ଗଳ ଗ୍ରହକୁ ଯିବାକୁ ମହାକାଶଯାନ ଦ୍ୱାରା କେତେ ସମୟ ଲାଗେ?
+ਮੰਗਲ ਗ੍ਰਹਿ 'ਤੇ ਪਹੁੰਚਣ ਲਈ ਪੁਲਾੜ ਯਾਨ ਨੂੰ ਕਿੰਨਾ ਸਮਾਂ ਲੱਗਦਾ ਹੈ?
+ብመርከብ ጠፈር ናብ ማርስ ንምብጻሕ ክንደይ ግዜ ይወስድ?
+ئالەم كېمىسى ئارقىلىق مارسقا بېرىش ئۈچۈن قانچىلىك ۋاقىت كېتىدۇ؟
+ኳንተም ፊዚክስ ኳንተም ኮምፒውተር፣ ኳንተም ክሪፕቶግራፊ እና ኳንተም ቴሌፖርቴሽንን ጨምሮ በተለያዩ ሳይንሳዊ መስኮች እና ቴክኖሎጂዎች ላይ ከፍተኛ እድገት አስገኝቷል።
+ಕ್ವಾಂಟಮ್ ಭೌತಶಾಸ್ತ್ರವು ಕ್ವಾಂಟಮ್ ಕಂಪ್ಯೂಟಿಂಗ್, ಕ್ವಾಂಟಮ್ ಕ್ರಿಪ್ಟೋಗ್ರಫಿ ಮತ್ತು ಕ್ವಾಂಟಮ್ ಟೆಲಿಪೋರ್ಟೇಶನ್ ಸೇರಿದಂತೆ ವಿವಿಧ ವೈಜ್ಞಾನಿಕ ಕ್ಷೇತ್ರಗಳು ಮತ್ತು ತಂತ್ರಜ್ಞಾನಗಳಲ್ಲಿ ಗಮನಾರ್ಹ ಪ್ರಗತಿಗೆ ಕಾರಣವಾಗಿದೆ.
+କ୍ୱାଣ୍ଟମ୍ ଫିଜିକ୍ସ ବିଭିନ୍ନ ବ scientific ଜ୍ଞାନିକ କ୍ଷେତ୍ର ଏବଂ ପ୍ରଯୁକ୍ତିବିଦ୍ୟାରେ କ୍ୱାଣ୍ଟମ୍ ଗଣନା, କ୍ୱାଣ୍ଟମ୍ କ୍ରିପ୍ଟୋଗ୍ରାଫି ଏବଂ କ୍ୱାଣ୍ଟମ୍ ଟେଲିପୋର୍ଟେସନ୍ ସହିତ ଉଲ୍ଲେଖନୀୟ ଅଗ୍ରଗତି କରିଛି |
+ਕੁਆਂਟਮ ਭੌਤਿਕ ਵਿਗਿਆਨ ਨੇ ਕੁਆਂਟਮ ਕੰਪਿਊਟਿੰਗ, ਕੁਆਂਟਮ ਕ੍ਰਿਪਟੋਗ੍ਰਾਫੀ, ਅਤੇ ਕੁਆਂਟਮ ਟੈਲੀਪੋਰਟੇਸ਼ਨ ਸਮੇਤ ਵੱਖ-ਵੱਖ ਵਿਗਿਆਨਕ ਖੇਤਰਾਂ ਅਤੇ ਤਕਨਾਲੋਜੀਆਂ ਵਿੱਚ ਮਹੱਤਵਪੂਰਨ ਤਰੱਕੀ ਕੀਤੀ ਹੈ।
+ኳንተም ፊዚክስ ኣብ ዝተፈላለዩ ሳይንሳዊ ዓውድታትን ቴክኖሎጂታትን ርኡይ ምዕባለታት ከምዘርኣየ ይፍለጥ፣ ንኣብነት ኳንታም ኮምፒዩቲንግ፣ ኳንታም ክሪፕቶግራፊን ኳንታም ቴለፖርቴሽንን።
+كىۋانت فىزىكىسى كىۋانت ھېسابلاش ، كىۋانت مەخپىيلەشتۈرۈش ۋە كىۋانت تېلېگراف قاتارلىق ھەر خىل ئىلىم-پەن ۋە تېخنىكىلاردا كۆرۈنەرلىك ئىلگىرىلەشلەرنى قولغا كەلتۈردى.
+በተጨማሪም ዛፎች ካርቦን ዳይኦክሳይድን ከከባቢ አየር በመሳብ እና በፎቶሲንተሲስ አማካኝነት ኦክስጅንን በመልቀቅ የአየር ንብረት ለውጥን ለመቋቋም ይረዳሉ።
+ಹೆಚ್ಚುವರಿಯಾಗಿ, ವಾತಾವರಣದಿಂದ ಇಂಗಾಲದ ಡೈಆಕ್ಸೈಡ್ ಅನ್ನು ಹೀರಿಕೊಳ್ಳುವ ಮೂಲಕ ಮತ್ತು ದ್ಯುತಿಸಂಶ್ಲೇಷಣೆಯ ಮೂಲಕ ಆಮ್ಲಜನಕವನ್ನು ಬಿಡುಗಡೆ ಮಾಡುವ ಮೂಲಕ ಹವಾಮಾನ ಬದಲಾವಣೆಯನ್ನು ಎದುರಿಸಲು ಮರಗಳು ಸಹಾಯ ಮಾಡುತ್ತವೆ.
+ଏହା ସହିତ, ବୃକ୍ଷଗୁଡ଼ିକ ବାୟୁମଣ୍ଡଳରୁ କାର୍ବନ ଡାଇଅକ୍ସାଇଡ୍ ଅବଶୋଷଣ କରି ଫଟୋସାଇନ୍ଥେସିସ୍ ମାଧ୍ୟମରେ ଅମ୍ଳଜାନ ମୁକ୍ତ କରି ଜଳବାୟୁ ପରିବର୍ତ୍ତନକୁ ମୁକାବିଲା କରିବାରେ ସାହାଯ୍ୟ କରନ୍ତି |
+ਇਸ ਤੋਂ ਇਲਾਵਾ, ਰੁੱਖ ਵਾਯੂਮੰਡਲ ਵਿੱਚੋਂ ਕਾਰਬਨ ਡਾਈਆਕਸਾਈਡ ਨੂੰ ਸੋਖ ਕੇ ਅਤੇ ਪ੍ਰਕਾਸ਼ ਸੰਸ਼ਲੇਸ਼ਣ ਦੁਆਰਾ ਆਕਸੀਜਨ ਛੱਡ ਕੇ ਜਲਵਾਯੂ ਤਬਦੀਲੀ ਦਾ ਮੁਕਾਬਲਾ ਕਰਨ ਵਿੱਚ ਮਦਦ ਕਰਦੇ ਹਨ।
+ብተወሳኺ፡ ኣግራብ ካብ ከባቢ ኣየር ዝወጽእ ካርቦን ዳይኦክሳይድ ብምምጣጥን ብፎቶሲንተሲስ ኣቢሎም ኦክስጅን ብምፍናው ንለውጢ ክሊማ ንምምካት ይሕግዙ።
+بۇنىڭدىن باشقا ، دەرەخلەر ئاتموسفېرادىكى كاربون تۆت ئوكسىدنى سۈمۈرۈپ ، فوتوسىنتېز ئارقىلىق 
+��وكسىگېن قويۇپ بېرىش ئارقىلىق كېلىمات ئۆزگىرىشىگە قارشى تۇرۇشقا ياردەم بېرىدۇ.
+ಇಂಟಿಗ್ರೇಟೆಡ್ ಗ್ರಾಫಿಕ್ಸ್ ಕಾರ್ಡ್‌ಗಳನ್ನು ಕಂಪ್ಯೂಟರ್‌ನ ಮದರ್‌ಬೋರ್ಡ್‌ನಲ್ಲಿ ನಿರ್ಮಿಸಲಾಗಿದೆ ಮತ್ತು ಸಿಪಿಯು ಜೊತೆಗೆ ಸಿಸ್ಟಮ್ ಮೆಮೊರಿಯನ್ನು ಹಂಚಿಕೊಳ್ಳುತ್ತದೆ, ಆದರೆ ಡಿಸ್ಕ್ರೀಟ್ ಗ್ರಾಫಿಕ್ಸ್ ಕಾರ್ಡ್‌ಗಳು ತಮ್ಮದೇ ಆದ ಮೀಸಲಾದ ಮೆಮೊರಿ ಮತ್ತು ಸಂಸ್ಕರಣಾ ಶಕ್ತಿಯನ್ನು ಹೊಂದಿರುವ ಪ್ರತ್ಯೇಕ ಘಟಕಗಳಾಗಿವೆ.
+ਏਕੀਕ੍ਰਿਤ ਗ੍ਰਾਫਿਕਸ ਕਾਰਡ ਕੰਪਿਊਟਰ ਦੇ ਮਦਰਬੋਰਡ ਵਿੱਚ ਬਣੇ ਹੁੰਦੇ ਹਨ ਅਤੇ ਸਿਸਟਮ ਮੈਮੋਰੀ ਨੂੰ CPU ਨਾਲ ਸਾਂਝਾ ਕਰਦੇ ਹਨ, ਜਦੋਂ ਕਿ ਡਿਸਕ੍ਰਿਟ ਗ੍ਰਾਫਿਕਸ ਕਾਰਡ ਵੱਖਰੇ ਹਿੱਸੇ ਹੁੰਦੇ ਹਨ ਜਿਨ੍ਹਾਂ ਦੀ ਆਪਣੀ ਸਮਰਪਿਤ ਮੈਮੋਰੀ ਅਤੇ ਪ੍ਰੋਸੈਸਿੰਗ ਪਾਵਰ ਹੁੰਦੀ ਹੈ।