SinCode v3 — seq2seq pipeline, evaluation scripts, IndoNLP benchmark data

.gitignore

@@ -3,6 +3,8 @@
 
 # Model weights — hosted on Hugging Face Hub
 seq2seq/byt5-singlish-sinhala/
+seq2seq/byt5-base-clean/
+seq2seq/experiments/
 seq2seq/tokenized_cache/
 
 # Large training data
@@ -23,6 +25,9 @@ __pycache__/
 # Evaluation outputs (optional — remove if you want these tracked)
 misc/v3_results_110.csv
 
+# User feedback data — contains real submissions, do not expose
+misc/feedback_submissions.jsonl
+
 # Misc
 *.log
 .DS_Store

IndoNLP-2025-Shared-Task/Readme.md

@@ -0,0 +1,53 @@
+# Romanized Indo-Aryan Language Reverse Transliterator
+
+## Overview
+
+**Typing Romanized Indo-Aryan languages** (native languages written using English alphabets) using adhoc transliterations, with or without vowels, and achieving accurate native script output is often challenging. Existing keyboard systems frequently fail to provide accurate transliteration, resulting in a subpar user experience. 
+
+This project introduces a **real-time reverse transliterator**, designed to convert Romanized Indo-Aryan language input into its corresponding native script. By improving the accuracy of transliteration, we aim to enhance the typing experience for users who prefer using Romanized alphabets for Indo-Aryan languages.
+
+![Example Task](./Images/sample.png)
+
+
+## Task Objective
+
+The primary goal of this project is to develop and evaluate a tool that:
+- Accurately converts Romanized Indo-Aryan language text to native script in real-time.
+- Handles transliterations with or without vowels, and resolves the ambiguities that arise from such variations.
+- Provides a seamless typing experience for users by addressing the inaccuracies present in current keyboard systems.
+
+
+
+## Important Dates
+
+- 1st Call for Registration :July 20, 2024
+- 2nd Call for Registration : July 31, 2024
+- Registration Closing : August 31, 2024
+- Intial Briefing :September 2, 2024
+- Test Data released: October 11, 2024    New
+- Shared Task Completion :November 15, 2024
+- Paper Submission Deadline :November 30, 2024
+
+## Language Test Sets
+
+This Test dataset has been created and augmented specifically for the INdoNLP Shared Task 2025. Please note that some data records are a combination of existing datasets that are publicly available for the respective languages. The augmentation process involved generating new data samples based on these existing resources while ensuring data diversity and relevance to the task.
+
+We want to give full credit to the authors and original creators of the datasets from which the data has been derived. Their contributions have been invaluable in the development of this dataset.
+
+
+| Language   | Test Set 1: General Typing Patterns | Test Set 2: Adhoc Typing Patterns   |
+|------------|--------------------------------------|------------------------------------|
+| Sinhala    | 10000                                | 5000                               |
+| Bengali    | 10000                                | 5000                               |
+| Gujarati   | 5000                                 | 5000                               |
+| Hindi      | 5000                                 | 5000                               |
+| Malayalam  | 10000                                | 5000                               |
+
+## Submission
+
+- The developed transliteration model/code.
+- A report detailing the approach, challenges faced, and solutions implemented.
+- A detailed discussion about the evaluation techniques/frameworks used.
+- A short paper (4 pages)
+
+For any inquiries or concerns regarding this dataset, please contact us at: indonlp2025@gmail.com

app.py

@@ -5,17 +5,31 @@ Architecture: ByT5-small (seq2seq candidate generation) +
               XLM-RoBERTa (MLM contextual reranking)
 
 Two transliteration modes:
-  • Code-Mixed  — ByT5 + MLM; retains English words where contextually apt
-  • Full Sinhala — mBart50 sentence-level; transliterates everything to Sinhala
+  - Code-Mixed  — ByT5 + MLM; retains English words where contextually apt
+  - Full Sinhala — mBart50 sentence-level; transliterates everything to Sinhala
 """
 
+from __future__ import annotations
+
+import os
+
 import streamlit as st
+from streamlit.errors import StreamlitSecretNotFoundError
+
+from feedback_store import FeedbackStore, format_feedback_error
 from sincode_model import BeamSearchDecoder, SentenceTransliterator
 
-st.set_page_config(page_title="සිංCode v3", page_icon="🇱🇰", layout="centered")
 
-st.title("සිංCode v3")
-st.caption("ByT5 seq2seq + XLM-RoBERTa MLM reranking")
+st.set_page_config(page_title="සිංCode", page_icon="🇱🇰", layout="centered")
+
+
+def _secret_or_env(name: str, default: str = "") -> str:
+    try:
+        if name in st.secrets:
+            return str(st.secrets[name])
+    except StreamlitSecretNotFoundError:
+        pass
+    return os.getenv(name, default)
 
 
 @st.cache_resource(show_spinner="Loading models (ByT5 + XLM-RoBERTa)…")
@@ -28,20 +42,47 @@ def load_transliterator() -> SentenceTransliterator:
     return SentenceTransliterator()
 
 
+@st.cache_resource
+def load_feedback_store() -> FeedbackStore:
+    return FeedbackStore(
+        supabase_url=_secret_or_env("SUPABASE_URL"),
+        supabase_anon_key=_secret_or_env("SUPABASE_ANON_KEY"),
+        supabase_service_key=_secret_or_env("SUPABASE_SERVICE_ROLE_KEY"),
+        table_name=_secret_or_env("SUPABASE_FEEDBACK_TABLE", "feedback_submissions"),
+    )
+
+
+st.title("සිංCode")
+
+with st.sidebar:
+    st.markdown("### About")
+    st.write(
+        "A model-driven Singlish to Sinhala transliteration interface with "
+        "optional user feedback for future model refinement."
+    )
+    store = load_feedback_store()
+    st.caption(f"Feedback storage: {store.backend_label}")
+
 mode = st.radio(
     "Transliteration mode",
     options=["Code-Mixed Output", "Full Sinhala Output"],
     horizontal=True,
     help=(
-        "**Code-Mixed**: keeps English technical/borrowed words where natural "
+        "**Code-Mixed**: keeps English technical or borrowed words where natural "
         "(e.g. *buffer*, *bit rate*). "
         "**Full Sinhala**: transliterates every word to Sinhala script "
-        "(e.g. *business* → ව්‍යාපාරය)."
+        "(e.g. *business* -> ව්‍යාපාරය)."
     ),
 )
 
-sentence = st.text_input(
+if mode == "Full Sinhala Output":
+    st.caption("mBart50 sentence-level transliteration")
+else:
+    st.caption("ByT5 seq2seq + XLM-RoBERTa MLM reranking")
+
+sentence = st.text_area(
     "Enter Singlish sentence",
+    height=120,
     placeholder="e.g. mema videowe bit rate eka godak wadi nisa buffer wenawa",
 )
 
@@ -57,19 +98,132 @@ if st.button("Transliterate", type="primary") and sentence.strip():
         with st.spinner("Transliterating (mBart50)…"):
             transliterator = load_transliterator()
             result = transliterator.transliterate(sentence.strip())
-
-        st.markdown("### Result")
-        st.success(result)
-
+        trace_logs: list[str] = []
     else:
         with st.spinner("Transliterating…"):
             decoder = load_decoder()
-            result, trace_logs = decoder.decode(sentence.strip())
-
-        st.markdown("### Result")
-        st.success(result)
-
-        if show_trace:
+            decode_out = decoder.decode(sentence.strip())
+            if isinstance(decode_out, tuple) and len(decode_out) == 3:
+                result, trace_logs, word_candidates = decode_out
+            else:
+                # Backward compatibility for cached/older decoders returning (result, trace_logs)
+                result, trace_logs = decode_out
+                word_candidates = [(w, []) for w in str(result).split()]
+
+    st.session_state["last_input"] = sentence.strip()
+    st.session_state["last_mode"] = mode
+    st.session_state["last_result"] = result
+    st.session_state["last_trace_logs"] = trace_logs
+    st.session_state["last_word_candidates"] = word_candidates if mode == "Code-Mixed Output" else []
+    st.session_state["last_output_words"] = [w for w, _ in word_candidates] if word_candidates else result.split()
+    st.session_state["feedback_submitted_for"] = None
+
+if st.session_state.get("last_result"):
+    current_input = st.session_state.get("last_input", "")
+    original_result = st.session_state["last_result"]
+    current_mode = st.session_state.get("last_mode", mode)
+    word_candidates = st.session_state.get("last_word_candidates", [])
+
+    # output_words may be mutated by alternative selection — keep in session state
+    if "last_output_words" not in st.session_state:
+        st.session_state["last_output_words"] = original_result.split()
+    output_words: list[str] = st.session_state["last_output_words"]
+    current_result = " ".join(output_words)
+
+    st.markdown("### Result")
+    st.success(current_result)
+    st.caption(f"Mode: {current_mode}")
+
+    # ── Alternative selection (Code-Mixed only) ───────────────────────────────
+    if current_mode == "Code-Mixed Output" and word_candidates:
+        swappable = [
+            (i, sel, alts)
+            for i, (sel, alts) in enumerate(word_candidates)
+            if len(alts) > 1
+        ]
+        if swappable:
+            st.markdown("##### Alternative transliterations")
+            st.caption("Click a word to pick an alternative.")
+            widths = [max(len(output_words[i]), 3) for i, _, _ in swappable]
+            cols = st.columns(widths, gap="small")
+            for col, (i, _sel, alts) in zip(cols, swappable):
+                current_word = output_words[i]
+                was_changed = current_word != word_candidates[i][0]
+                chip = (
+                    f":green[**{current_word}**]"
+                    if was_changed
+                    else f":blue[**{current_word}**]"
+                )
+                with col:
+                    with st.popover(chip, use_container_width=True):
+                        st.markdown(f"**Alternatives for `{current_word}`:**")
+                        for alt in alts:
+                            is_sel = alt == current_word
+                            if st.button(
+                                f"{'✅ ' if is_sel else ''}{alt}",
+                                key=f"alt_{i}_{alt}",
+                                use_container_width=True,
+                                type="primary" if is_sel else "secondary",
+                            ):
+                                st.session_state["last_output_words"][i] = alt
+                                st.session_state["corrected_output"] = " ".join(
+                                    st.session_state["last_output_words"]
+                                )
+                                st.rerun()
+                        st.markdown("---")
+                        custom = st.text_input(
+                            "Not listed? Type correct word:",
+                            key=f"custom_{i}",
+                            placeholder="Type Sinhala word",
+                        )
+                        if custom and st.button(
+                            "Use this", key=f"custom_apply_{i}", use_container_width=True
+                        ):
+                            st.session_state["last_output_words"][i] = custom
+                            st.session_state["corrected_output"] = " ".join(
+                                st.session_state["last_output_words"]
+                            )
+                            st.rerun()
+
+    if current_mode == "Code-Mixed Output" and show_trace:
+        trace_logs = st.session_state.get("last_trace_logs", [])
+        if trace_logs:
             st.markdown("### Trace")
             for log in trace_logs:
                 st.markdown(log)
+
+    with st.expander("Submit a correction", expanded=False):
+        st.caption(
+            "If the output is incorrect, submit a corrected sentence. "
+            "These feedback samples can be reviewed and used in future fine-tuning."
+        )
+        corrected_output = st.text_area(
+            "Corrected output",
+            value=current_result,
+            height=120,
+            key="corrected_output",
+        )
+        feedback_comment = st.text_area(
+            "Optional note",
+            placeholder="Example: In this sentence, this word should stay in English.",
+            key="feedback_comment",
+        )
+
+        submit_key = (current_input, original_result, corrected_output)
+        already_submitted = st.session_state.get("feedback_submitted_for") == submit_key
+
+        if already_submitted:
+            st.success("Correction submitted.")
+        elif st.button("Submit Feedback", use_container_width=True):
+            try:
+                load_feedback_store().save_submission(
+                    input_sentence=current_input,
+                    original_output=original_result,
+                    corrected_output=corrected_output.strip(),
+                    user_comment=feedback_comment,
+                    decode_mode=current_mode,
+                )
+                st.session_state["feedback_submitted_for"] = submit_key
+                st.success("Feedback submitted successfully.")
+            except Exception as exc:
+                st.error(f"Could not submit feedback: {format_feedback_error(exc)}")

core/constants.py

@@ -30,6 +30,11 @@ ENGLISH_CORPUS_URL = (
 # ─── Decoding Parameters ─────────────────────────────────────────────────────
 MAX_CANDIDATES: int = 5       # ByT5 beam=5 → 5 candidates per word
 MIN_ENGLISH_LEN: int = 3      # Min word length for English detection
+# Words >= this length that are in the English vocab are treated as unambiguous
+# English loanwords and passed through without MLM scoring.
+# Short words (< 6 chars) are kept in the MLM path because they may be
+# Singlish homophones (e.g. 'mage'=wizard vs 'මගේ', 'mama'=mum vs 'mama'=uncle).
+MIN_ENGLISH_PASSTHROUGH_LEN: int = 5
 
 # ─── Regex ───────────────────────────────────────────────────────────────────
 PUNCT_PATTERN = re.compile(r"^(\W*)(.*?)(\W*)$")

core/decoder.py

@@ -17,7 +17,7 @@ from transformers import AutoTokenizer, AutoModelForMaskedLM
 
 from core.constants import (
     DEFAULT_MLM_MODEL, DEFAULT_BYT5_MODEL,
-    MAX_CANDIDATES, MIN_ENGLISH_LEN,
+    MAX_CANDIDATES, MIN_ENGLISH_LEN, MIN_ENGLISH_PASSTHROUGH_LEN,
     PUNCT_PATTERN,
 )
 from core.english import ENGLISH_VOCAB
@@ -27,6 +27,52 @@ logger = logging.getLogger(__name__)
 
 _SINHALA_RE = re.compile(r"[\u0D80-\u0DFF]")
 
+# ── Numeric / special-token passthrough ──────────────────────────────────────
+# These patterns detect tokens that must not go through ByT5 transliteration.
+_RE_ORDINAL   = re.compile(r"^\d+(st|nd|rd|th)$", re.IGNORECASE)   # 1st, 2nd, 3rd
+_RE_PURE_NUM  = re.compile(r"^\d+(?:[.,]\d+)*$")                    # 5, 10.30, 9.00
+_RE_NUM_RANGE = re.compile(r"^\d+-\d+$")                            # 2-3, 10-20
+_RE_CURRENCY  = re.compile(r"^\d+[/]-?$")                           # 500/-
+_RE_AM_PM     = re.compile(r"^[ap]\.?m\.?$", re.IGNORECASE)        # a.m. p.m. am pm
+_RE_NUM_PCT_K = re.compile(r"^(\d[\d,.]*%+)k$", re.IGNORECASE)     # 100%k → 100%ක්
+_RE_NUM_K     = re.compile(r"^(\d[\d,.]*)k$", re.IGNORECASE)        # 5000k → 5000ක්
+_RE_NUM_TA    = re.compile(r"^(\d[\d,.]*)ta$", re.IGNORECASE)       # 10.30ta → 10.30ට
+
+
+def _numeric_passthrough(core: str) -> Optional[str]:
+    """
+    Return a (possibly lightly-transformed) value for numeric/special tokens.
+    Returns None if the token should go through normal ByT5 + MLM processing.
+    """
+    # 100%k → 100%ක්  (check before plain Nk to avoid consuming the %)
+    m = _RE_NUM_PCT_K.match(core)
+    if m:
+        return m.group(1) + "ක්"
+    # 5000k / 10k → 5000ක් / 10ක්
+    m = _RE_NUM_K.match(core)
+    if m:
+        return m.group(1) + "ක්"
+    # 10.30ta → 10.30ට
+    m = _RE_NUM_TA.match(core)
+    if m:
+        return m.group(1) + "ට"
+    # Ordinals: 1st, 2nd, 3rd … → keep as-is
+    if _RE_ORDINAL.match(core):
+        return core
+    # Pure numbers and decimals: 5, 100, 10.30, 9.00 → keep
+    if _RE_PURE_NUM.match(core):
+        return core
+    # Number ranges: 2-3 → keep
+    if _RE_NUM_RANGE.match(core):
+        return core
+    # Currency notation: 500/- → keep
+    if _RE_CURRENCY.match(core):
+        return core
+    # AM/PM markers: a.m. p.m. am pm → keep
+    if _RE_AM_PM.match(core):
+        return core
+    return None
+
 
 class ScoredCandidate:
     __slots__ = ("text", "mlm_score")
@@ -138,14 +184,18 @@ class BeamSearchDecoder:
 
     # ── Public decode ─────────────────────────────────────────────────────────
 
-    def decode(self, sentence: str) -> Tuple[str, List[str]]:
+    def decode(self, sentence: str) -> Tuple[str, List[str], List[Tuple[str, List[str]]]]:
         """
         Decode a Singlish sentence word-by-word using ByT5 + XLM-RoBERTa MLM.
-        Returns (transliterated_sentence, trace_logs).
+        Returns (transliterated_sentence, trace_logs, word_candidates).
+
+        word_candidates is a list of (selected_word, [all_candidates]) per word,
+        in input word order. Single-candidate words (passthrough/sinhala) have an
+        empty alternatives list.
         """
         words = sentence.split()
         if not words:
-            return "", []
+            return "", [], []
 
         # ── Phase 1: batch ByT5 candidate generation ──────────────────────────
         # Collect only the words that need ByT5 (non-Sinhala), run in one pass
@@ -156,6 +206,9 @@ class BeamSearchDecoder:
             match = PUNCT_PATTERN.match(raw)
             prefix, core, suffix = match.groups() if match else ("", raw, "")
             if not _is_sinhala(core):
+                # Skip numeric/special tokens — they don't need ByT5
+                if _numeric_passthrough(core) is not None:
+                    continue
                 cores.append(core)
                 core_meta.append((i, prefix, core, suffix, core.lower()))
 
@@ -172,18 +225,31 @@ class BeamSearchDecoder:
         word_infos: List[dict] = []
         for i, raw in enumerate(words):
             match = PUNCT_PATTERN.match(raw)
-            _, core, _ = match.groups() if match else ("", raw, "")
+            raw_prefix, core, raw_suffix = match.groups() if match else ("", raw, "")
 
             if _is_sinhala(core):
                 word_infos.append({"kind": "sinhala", "candidates": [raw]})
                 continue
 
+            # Numeric/special passthrough — keep or lightly transform, skip MLM
+            passthrough_val = _numeric_passthrough(core)
+            if passthrough_val is not None:
+                word_infos.append({"kind": "passthrough", "candidates": [raw_prefix + passthrough_val + raw_suffix]})
+                continue
+
             prefix, suffix, core_lower, byt5_cands = byt5_map[i]
             sinhala_cands = [prefix + c + suffix for c in byt5_cands]
 
             if core_lower in ENGLISH_VOCAB and len(core_lower) >= MIN_ENGLISH_LEN:
-                candidates = [raw] + [c for c in sinhala_cands if c != raw]
-                word_infos.append({"kind": "english", "candidates": candidates[:MAX_CANDIDATES + 1]})
+                if len(core_lower) >= MIN_ENGLISH_PASSTHROUGH_LEN:
+                    # Long English loanwords (≥6 chars): unambiguously English in
+                    # code-mixed Singlish — bypass MLM to avoid Sinhala-bias override.
+                    word_infos.append({"kind": "english", "candidates": [raw]})
+                else:
+                    # Short English vocab words (3–5 chars) may also be Singlish
+                    # homophones (mage/mama/game/call) — let MLM disambiguate.
+                    candidates = [raw] + [c for c in sinhala_cands if c != raw]
+                    word_infos.append({"kind": "singlish", "candidates": candidates[:MAX_CANDIDATES + 1]})
             else:
                 word_infos.append({"kind": "singlish", "candidates": sinhala_cands})
 
@@ -193,6 +259,11 @@ class BeamSearchDecoder:
         selected_words: List[str] = []
 
         for t, info in enumerate(word_infos):
+            # English-detected words: always keep raw form — skip MLM (MLM Sinhala bias
+            # would otherwise score a Sinhala transliteration higher than the English token)
+            if info["kind"] in ("english", "passthrough", "sinhala"):
+                selected_words.append(info["candidates"][0])
+                continue
             candidates = info["candidates"]
             left_ctx = " ".join(selected_words)
             right_ctx = " ".join(stable_right[t + 1:])
@@ -209,12 +280,38 @@ class BeamSearchDecoder:
         # Right context is now the actual decoded output, not the pre-decode estimate
         trace_logs: List[str] = []
         final_words: List[str] = []
+        word_candidates: List[Tuple[str, List[str]]] = []  # (selected, [all_cands])
 
         for t, info in enumerate(word_infos):
             raw_word = words[t]
             kind = info["kind"]
             candidates = info["candidates"]
 
+            # English-detected, Sinhala, and passthrough words bypass MLM scoring.
+            # For English: the MLM model is Sinhala-biased and would otherwise prefer
+            # a Sinhala transliteration over the correct English token.
+            if kind == "sinhala":
+                final_words.append(candidates[0])
+                word_candidates.append((candidates[0], []))
+                trace_logs.append(
+                    f"**Step {t+1}: `{raw_word}`** → `{candidates[0]}` (Sinhala passthrough)\n"
+                )
+                continue
+            if kind == "passthrough":
+                final_words.append(candidates[0])
+                word_candidates.append((candidates[0], []))
+                trace_logs.append(
+                    f"**Step {t+1}: `{raw_word}`** → `{candidates[0]}` (numeric/passthrough)\n"
+                )
+                continue
+            if kind == "english":
+                final_words.append(candidates[0])
+                word_candidates.append((candidates[0], []))
+                trace_logs.append(
+                    f"**Step {t+1}: `{raw_word}`** → `{candidates[0]}` (English vocab passthrough)\n"
+                )
+                continue
+
             left_ctx = " ".join(final_words)
             right_ctx = " ".join(selected_words[t + 1:])
 
@@ -232,17 +329,12 @@ class BeamSearchDecoder:
             )
             best = scored[0]
             final_words.append(best.text)
+            word_candidates.append((best.text, [s.text for s in scored]))
 
-            if kind == "sinhala":
-                trace_logs.append(
-                    f"**Step {t+1}: `{raw_word}`** → `{best.text}` "
-                    f"(Sinhala, MLM={best.mlm_score:.3f})\n"
-                )
-            else:
-                trace_logs.append(
-                    f"**Step {t+1}: `{raw_word}`** → `{best.text}` "
-                    f"(MLM={best.mlm_score:.3f})\n"
-                    + "\n".join(f"  - `{s.text}` {s.mlm_score:.3f}" for s in scored)
-                )
+            trace_logs.append(
+                f"**Step {t+1}: `{raw_word}`** → `{best.text}` "
+                f"(MLM={best.mlm_score:.3f})\n"
+                + "\n".join(f"  - `{s.text}` {s.mlm_score:.3f}" for s in scored)
+            )
 
-        return " ".join(final_words), trace_logs
+        return " ".join(final_words), trace_logs, word_candidates

feedback_schema.sql

@@ -0,0 +1,19 @@
+create table if not exists public.feedback_submissions (
+    id bigint generated by default as identity primary key,
+    created_at timestamptz not null default timezone('utc', now()),
+    input_sentence text not null,
+    original_output text not null,
+    corrected_output text not null,
+    user_comment text not null default '',
+    decode_mode text not null default '',
+    review_status text not null default 'pending'
+        check (review_status in ('pending', 'approved', 'rejected')),
+    admin_notes text not null default '',
+    source text not null default 'streamlit'
+);
+
+create index if not exists feedback_submissions_created_at_idx
+    on public.feedback_submissions (created_at desc);
+
+create index if not exists feedback_submissions_review_status_idx
+    on public.feedback_submissions (review_status);

feedback_store.py

@@ -0,0 +1,101 @@
+from __future__ import annotations
+
+import json
+from datetime import datetime, timezone
+from pathlib import Path
+from typing import Any, Dict
+
+import requests
+
+
+LOCAL_FEEDBACK_PATH = Path(__file__).parent / "misc" / "feedback_submissions.jsonl"
+
+
+class FeedbackStore:
+    def __init__(
+        self,
+        supabase_url: str = "",
+        supabase_anon_key: str = "",
+        supabase_service_key: str = "",
+        table_name: str = "feedback_submissions",
+    ) -> None:
+        self.supabase_url = supabase_url.rstrip("/")
+        self.supabase_anon_key = supabase_anon_key
+        self.supabase_service_key = supabase_service_key
+        self.table_name = table_name
+
+    @property
+    def is_remote_enabled(self) -> bool:
+        return bool(self.supabase_url and (self.supabase_service_key or self.supabase_anon_key))
+
+    @property
+    def backend_label(self) -> str:
+        if self.is_remote_enabled:
+            return "Supabase"
+        return f"Local file ({LOCAL_FEEDBACK_PATH.name})"
+
+    def save_submission(
+        self,
+        input_sentence: str,
+        original_output: str,
+        corrected_output: str,
+        user_comment: str = "",
+        decode_mode: str = "",
+    ) -> Dict[str, Any]:
+        payload = {
+            "created_at": datetime.now(timezone.utc).isoformat(),
+            "input_sentence": input_sentence,
+            "original_output": original_output,
+            "corrected_output": corrected_output,
+            "user_comment": user_comment.strip(),
+            "decode_mode": decode_mode,
+            "review_status": "pending",
+            "admin_notes": "",
+            "source": "streamlit",
+        }
+        if self.is_remote_enabled:
+            return self._insert_remote(payload)
+        return self._insert_local(payload)
+
+    def _insert_local(self, payload: Dict[str, Any]) -> Dict[str, Any]:
+        LOCAL_FEEDBACK_PATH.parent.mkdir(parents=True, exist_ok=True)
+        with LOCAL_FEEDBACK_PATH.open("a", encoding="utf-8") as f:
+            f.write(json.dumps(payload, ensure_ascii=False) + "\n")
+        return {"ok": True, "record": payload}
+
+    def _insert_remote(self, payload: Dict[str, Any]) -> Dict[str, Any]:
+        url = f"{self.supabase_url}/rest/v1/{self.table_name}"
+        response = requests.post(
+            url,
+            headers=self._headers(admin=False, prefer="return=representation"),
+            json=payload,
+            timeout=15,
+        )
+        response.raise_for_status()
+        rows = response.json()
+        row = rows[0] if rows else payload
+        return {"ok": True, "record": row}
+
+    def _headers(self, admin: bool, prefer: str = "") -> Dict[str, str]:
+        key = self.supabase_service_key if admin and self.supabase_service_key else self.supabase_anon_key or self.supabase_service_key
+        headers = {
+            "apikey": key,
+            "Authorization": f"Bearer {key}",
+            "Content-Type": "application/json",
+        }
+        if prefer:
+            headers["Prefer"] = prefer
+        return headers
+
+
+def format_feedback_error(exc: Exception) -> str:
+    if isinstance(exc, requests.HTTPError) and exc.response is not None:
+        try:
+            payload = exc.response.json()
+            if isinstance(payload, dict):
+                message = payload.get("message") or payload.get("hint") or json.dumps(payload)
+                return f"{exc.response.status_code}: {message}"
+        except ValueError:
+            pass
+        return f"{exc.response.status_code}: {exc.response.text.strip()}"
+    return str(exc)

misc/eval_indo.py

@@ -0,0 +1,160 @@
+#!/usr/bin/env python3
+"""Evaluate ByT5 on Indo NLP test sets - file-based logging version."""
+
+import sys
+import os
+from pathlib import Path
+
+project_root = Path(__file__).parent.parent
+sys.path.insert(0, str(project_root))
+
+os.environ['PYTHONUNBUFFERED'] = '1'
+
+import torch
+import pandas as pd
+import json
+from datetime import datetime
+
+from core.decoder import BeamSearchDecoder
+
+# Redirect stderr to avoid tqdm issues
+import io
+sys.stderr = open(os.devnull, 'w')
+
+LOG_FILE = Path("misc/eval_progress.log")
+
+def log(msg):
+    """Log to file and stdout."""
+    with open(LOG_FILE, 'a', encoding='utf-8') as f:
+        timestamp = datetime.now().strftime("%H:%M:%S")
+        f.write(f"[{timestamp}] {msg}\n")
+    print(msg, flush=True)
+
+def load_test_set(filepath, max_samples=None):
+    """Load Indo NLP test set."""
+    samples = []
+    with open(filepath, 'r', encoding='utf-8') as f:
+        lines = [line.strip() for line in f.readlines() if line.strip()]
+    
+    for i in range(0, len(lines), 2):
+        if i + 1 < len(lines):
+            samples.append({'singlish': lines[i], 'expected': lines[i+1]})
+            if max_samples and len(samples) >= max_samples:
+                break
+    return samples
+
+def compute_metrics(predicted, expected):
+    """Compute CER, WER, BLEU, EM."""
+    from difflib import SequenceMatcher
+    
+    matcher_char = SequenceMatcher(None, predicted, expected)
+    cer = 1.0 - matcher_char.ratio() if expected else (1.0 if predicted else 0.0)
+    
+    pred_words = predicted.split()
+    exp_words = expected.split()
+    matcher_word = SequenceMatcher(None, pred_words, exp_words)
+    wer = 1.0 - matcher_word.ratio() if exp_words else (1.0 if pred_words else 0.0)
+    
+    if exp_words:
+        matches = sum(1 for t in pred_words if t in exp_words)
+        bleu = matches / len(exp_words)
+    else:
+        bleu = 1.0 if not pred_words else 0.0
+    
+    em = 1 if predicted == expected else 0
+    
+    return {'cer': cer, 'wer': wer, 'bleu': bleu, 'em': em}
+
+def main():
+    # Clear log
+    LOG_FILE.write_text("")
+    
+    device = "cuda" if torch.cuda.is_available() else "cpu"
+    log(f"Device: {device}")
+    
+    max_formal = int(sys.argv[1]) if len(sys.argv) > 1 else None
+    max_informal = int(sys.argv[2]) if len(sys.argv) > 2 else None
+    log(f"Max formal: {max_formal}, Max informal: {max_informal}")
+    
+    log("\nLoading decoder...")
+    try:
+        decoder = BeamSearchDecoder(device=device)
+        log("Decoder loaded!")
+    except Exception as e:
+        log(f"ERROR loading decoder: {e}")
+        return
+    
+    # Load test sets
+    test_dir = Path("IndoNLP-2025-Shared-Task/Test Dataset/Sinhala")
+    
+    log(f"\nLoading test sets...")
+    formal_samples = load_test_set(test_dir / "Sinhala Test set 1.txt", max_samples=max_formal)
+    informal_samples = load_test_set(test_dir / "Sinhala Test set 2.txt", max_samples=max_informal)
+    log(f"Formal: {len(formal_samples)}, Informal: {len(informal_samples)}")
+    
+    all_results = []
+    
+    # Evaluate formal
+    log(f"\n>>> EVALUATING FORMAL ({len(formal_samples)} samples)...")
+    for idx, sample in enumerate(formal_samples):
+        try:
+            predicted, _, _ = decoder.decode(sample['singlish'])
+            metrics = compute_metrics(predicted, sample['expected'])
+            result = {**sample, 'predicted': predicted, 'subset': 'formal', **metrics}
+            all_results.append(result)
+            
+            if (idx+1) % 10 == 0:
+                log(f"  Formal {idx+1}/{len(formal_samples)}: EM={metrics['em']} CER={metrics['cer']:.3f}")
+        except Exception as e:
+            log(f"  ERROR at formal {idx+1}: {str(e)[:100]}")
+            result = {**sample, 'predicted': '[ERROR]', 'subset': 'formal', 'cer': 1.0, 'wer': 1.0, 'bleu': 0.0, 'em': 0}
+            all_results.append(result)
+    
+    log(f"Formal complete: {len([r for r in all_results if r['subset']=='formal'])} results")
+    
+    # Evaluate informal
+    log(f"\n>>> EVALUATING INFORMAL ({len(informal_samples)} samples)...")
+    formal_count = len(all_results)
+    for idx, sample in enumerate(informal_samples):
+        try:
+            predicted, _, _ = decoder.decode(sample['singlish'])
+            metrics = compute_metrics(predicted, sample['expected'])
+            result = {**sample, 'predicted': predicted, 'subset': 'informal', **metrics}
+            all_results.append(result)
+            
+            if (idx+1) % 10 == 0:
+                log(f"  Informal {idx+1}/{len(informal_samples)}: EM={metrics['em']} CER={metrics['cer']:.3f}")
+        except Exception as e:
+            log(f"  ERROR at informal {idx+1}: {str(e)[:100]}")
+            result = {**sample, 'predicted': '[ERROR]', 'subset': 'informal', 'cer': 1.0, 'wer': 1.0, 'bleu': 0.0, 'em': 0}
+            all_results.append(result)
+    
+    log(f"Informal complete: {len([r for r in all_results if r['subset']=='informal'])} results")
+    
+    # Summary
+    log(f"\n>>> SUMMARY...")
+    all_df = pd.DataFrame(all_results)
+    
+    for subset in ['formal', 'informal', None]:
+        if subset:
+            df = all_df[all_df['subset'] == subset]
+            label = subset.upper()
+        else:
+            df = all_df
+            label = f"OVERALL ({len(df)})"
+        
+        cer_mean = df['cer'].mean()
+        wer_mean = df['wer'].mean()
+        bleu_mean = df['bleu'].mean()
+        em_sum = int(df['em'].sum())
+        
+        log(f"{label:20s} n={len(df):5d} | CER={cer_mean:.4f} WER={wer_mean:.4f} BLEU={bleu_mean:.4f} EM={em_sum}/{len(df)}")
+    
+    # Save
+    all_df.to_csv("misc/indo_nlp_results.csv", index=False)
+    log(f"\nResults saved: misc/indo_nlp_results.csv")
+    
+    log("\nDONE!")
+
+if __name__ == "__main__":
+    main()

misc/eval_internal_500.py

@@ -0,0 +1,167 @@
+#!/usr/bin/env python3
+"""
+Evaluate ByT5 + XLM-RoBERTa reranker on internal_test_set_500.csv.
+CSV columns: id, category, input, code_mixed_reference
+
+Usage:
+    python misc/eval_internal_500.py                   # full 500
+    python misc/eval_internal_500.py --max 10          # dry run
+    python misc/eval_internal_500.py --max 10 --cat colloquial
+"""
+
+import sys
+import os
+import argparse
+import csv
+import time
+from pathlib import Path
+from collections import defaultdict
+
+project_root = Path(__file__).parent.parent
+sys.path.insert(0, str(project_root))
+
+from core.decoder import BeamSearchDecoder
+
+
+# ── Metrics ─────────────────────────────────────────────────────────────────
+
+def levenshtein(a, b):
+    if not a: return len(b)
+    if not b: return len(a)
+    prev = list(range(len(b) + 1))
+    for i, ca in enumerate(a, 1):
+        curr = [i] + [0] * len(b)
+        for j, cb in enumerate(b, 1):
+            curr[j] = min(prev[j] + 1, curr[j-1] + 1, prev[j-1] + (0 if ca == cb else 1))
+        prev = curr
+    return prev[-1]
+
+def cer(pred, ref):
+    if not ref: return 0.0 if not pred else 1.0
+    return levenshtein(pred, ref) / len(ref)
+
+def wer(pred, ref):
+    pw, rw = pred.split(), ref.split()
+    if not rw: return 0.0 if not pw else 1.0
+    return levenshtein(pw, rw) / len(rw)
+
+def bleu1(pred, ref):
+    pt, rt = pred.split(), ref.split()
+    if not rt: return 1.0 if not pt else 0.0
+    matches = sum(1 for t in pt if t in rt)
+    return matches / len(rt)
+
+def exact_match(pred, ref):
+    return pred.strip() == ref.strip()
+
+
+# ── Main ─────────────────────────────────────────────────────────────────────
+
+def main():
+    parser = argparse.ArgumentParser()
+    parser.add_argument("--max", type=int, default=None, help="Max samples to evaluate")
+    parser.add_argument("--cat", type=str, default=None, help="Filter to one category")
+    parser.add_argument("--out", type=str, default="misc/internal_500_results.csv", help="Output CSV path")
+    args = parser.parse_args()
+
+    csv_path = project_root / "misc" / "internal_test_set_500.csv"
+
+    # Load samples
+    samples = []
+    with open(csv_path, newline="", encoding="utf-8-sig") as f:
+        reader = csv.DictReader(f)
+        for row in reader:
+            if args.cat and row["category"] != args.cat:
+                continue
+            samples.append(row)
+            if args.max and len(samples) >= args.max:
+                break
+
+    print(f"Loaded {len(samples)} samples" + (f" (category={args.cat})" if args.cat else ""))
+
+    # Load decoder
+    import torch
+    device = "cuda" if torch.cuda.is_available() else "cpu"
+    print(f"Loading BeamSearchDecoder on {device}...")
+    decoder = BeamSearchDecoder(device=device)
+    print("Ready.\n")
+
+    results = []
+    category_stats = defaultdict(list)
+
+    for i, row in enumerate(samples):
+        inp = row["input"].strip()
+        ref = row["code_mixed_reference"].strip()
+        cat = row["category"]
+        sid = row["id"]
+
+        t0 = time.time()
+        try:
+            pred, _, _ = decoder.decode(inp)
+        except Exception as e:
+            print(f"  ERROR id={sid}: {e}")
+            pred = "[ERROR]"
+        elapsed = time.time() - t0
+
+        c = cer(pred, ref)
+        w = wer(pred, ref)
+        b = bleu1(pred, ref)
+        em = exact_match(pred, ref)
+
+        result = {
+            "id": sid,
+            "category": cat,
+            "input": inp,
+            "reference": ref,
+            "prediction": pred,
+            "cer": round(c, 4),
+            "wer": round(w, 4),
+            "bleu": round(b, 4),
+            "exact_match": em,
+            "time_s": round(elapsed, 3),
+        }
+        results.append(result)
+        category_stats[cat].append(result)
+
+        status = "PASS" if em else "FAIL"
+        print(f"[{i+1:>4}/{len(samples)}] {status} id={sid:>4} cat={cat:<15} CER={c:.3f} WER={w:.3f} BLEU={b:.3f}")
+        if not em:
+            print(f"         IN:  {inp}")
+            print(f"         REF: {ref}")
+            print(f"         GOT: {pred}")
+
+    # Write results CSV
+    out_path = project_root / args.out
+    with open(out_path, "w", newline="", encoding="utf-8") as f:
+        writer = csv.DictWriter(f, fieldnames=results[0].keys())
+        writer.writeheader()
+        writer.writerows(results)
+    print(f"\nResults saved to: {out_path}")
+
+    # Summary by category
+    print(f"\n{'='*70}")
+    print(f"{'CATEGORY':<18} {'n':>4}  {'CER':>7}  {'WER':>7}  {'BLEU':>7}  {'EM%':>7}")
+    print(f"{'='*70}")
+
+    all_results = results
+    for cat in sorted(category_stats):
+        rows = category_stats[cat]
+        n = len(rows)
+        avg_cer  = sum(r["cer"]  for r in rows) / n
+        avg_wer  = sum(r["wer"]  for r in rows) / n
+        avg_bleu = sum(r["bleu"] for r in rows) / n
+        em_pct   = sum(1 for r in rows if r["exact_match"]) / n * 100
+        print(f"{cat:<18} {n:>4}  {avg_cer:>7.4f}  {avg_wer:>7.4f}  {avg_bleu:>7.4f}  {em_pct:>6.1f}%")
+
+    n = len(all_results)
+    print(f"{'─'*70}")
+    print(f"{'OVERALL':<18} {n:>4}  "
+          f"{sum(r['cer'] for r in all_results)/n:>7.4f}  "
+          f"{sum(r['wer'] for r in all_results)/n:>7.4f}  "
+          f"{sum(r['bleu'] for r in all_results)/n:>7.4f}  "
+          f"{sum(1 for r in all_results if r['exact_match'])/n*100:>6.1f}%")
+    print(f"{'='*70}")
+
+
+if __name__ == "__main__":
+    main()

misc/evaluate_indo_nlp.py

@@ -0,0 +1,241 @@
+#!/usr/bin/env python3
+"""
+Evaluate ByT5 + XLM-RoBERTa reranker on Indo NLP Sinhala test sets.
+Test Set 1: 10K formal sentences
+Test Set 2: 5K informal sentences (ad-hoc, colloquial)
+"""
+
+import sys
+import os
+from pathlib import Path
+
+# Add project root to path
+project_root = Path(__file__).parent.parent
+sys.path.insert(0, str(project_root))
+
+import torch
+import pandas as pd
+import numpy as np
+from collections import defaultdict
+
+# Import our models
+from core.decoder import BeamSearchDecoder
+
+def load_test_set(filepath, max_samples=None):
+    """
+    Load Indo NLP test set.
+    Format: pairs of lines (Singlish, Sinhala expected output)
+    """
+    samples = []
+    with open(filepath, 'r', encoding='utf-8') as f:
+        lines = [line.strip() for line in f.readlines() if line.strip()]
+    
+    for i in range(0, len(lines), 2):
+        if i + 1 < len(lines):
+            singlish_input = lines[i]
+            sinhala_expected = lines[i + 1]
+            samples.append({
+                'singlish': singlish_input,
+                'expected': sinhala_expected
+            })
+            if max_samples and len(samples) >= max_samples:
+                break
+    
+    return samples
+
+def compute_cer(predicted, expected):
+    """Character Error Rate"""
+    if not expected:
+        return 1.0 if predicted else 0.0
+    
+    # Simple character-level edit distance
+    from difflib import SequenceMatcher
+    matcher = SequenceMatcher(None, predicted, expected)
+    ratio = matcher.ratio()
+    return 1.0 - ratio
+
+def compute_wer(predicted, expected):
+    """Word Error Rate (space-separated tokens)"""
+    pred_words = predicted.split()
+    exp_words = expected.split()
+    
+    if not exp_words:
+        return 1.0 if pred_words else 0.0
+    
+    from difflib import SequenceMatcher
+    matcher = SequenceMatcher(None, pred_words, exp_words)
+    ratio = matcher.ratio()
+    return 1.0 - ratio
+
+def compute_em(predicted, expected):
+    """Exact Match"""
+    return 1.0 if predicted == expected else 0.0
+
+def compute_bleu(predicted, expected, n=4):
+    """Simple BLEU approximation (unigram overlap)"""
+    pred_tokens = predicted.split()
+    exp_tokens = expected.split()
+    
+    if not exp_tokens:
+        return 1.0 if not pred_tokens else 0.0
+    
+    # Count matching tokens
+    matches = sum(1 for t in pred_tokens if t in exp_tokens)
+    return matches / len(exp_tokens)
+
+def evaluate_samples(decoder, samples, device, batch_size=8):
+    """
+    Evaluate ByT5 + MLM reranker on samples.
+    Returns: list of results with metrics
+    """
+    results = []
+    total = len(samples)
+    
+    for idx, sample in enumerate(samples):
+        singlish_input = sample['singlish']
+        expected_output = sample['expected']
+        
+        # Print progress every 10 samples
+        if idx % 10 == 0:
+            print(f"  Progress: {idx}/{total}", flush=True)
+        
+        try:
+            # Decode using BeamSearchDecoder (includes ByT5 + MLM reranking)
+            predicted, trace_logs, _ = decoder.decode(singlish_input)
+            
+            # Compute metrics
+            cer = compute_cer(predicted, expected_output)
+            wer = compute_wer(predicted, expected_output)
+            bleu = compute_bleu(predicted, expected_output)
+            em = compute_em(predicted, expected_output)
+            
+            results.append({
+                'singlish': singlish_input,
+                'expected': expected_output,
+                'predicted': predicted,
+                'cer': cer,
+                'wer': wer,
+                'bleu': bleu,
+                'em': em
+            })
+            
+        except Exception as e:
+            print(f"  Error at {idx}/{total} processing '{singlish_input}': {e}")
+            results.append({
+                'singlish': singlish_input,
+                'expected': expected_output,
+                'predicted': '[ERROR]',
+                'cer': 1.0,
+                'wer': 1.0,
+                'bleu': 0.0,
+                'em': 0
+            })
+    
+    print(f"  Completed: {total}/{total}", flush=True)
+    return results
+
+def print_metrics(results, subset_name):
+    """Print metrics summary"""
+    if not results:
+        print(f"{subset_name}: No results")
+        return
+    
+    df = pd.DataFrame(results)
+    
+    print(f"\n{'='*60}")
+    print(f"Subset: {subset_name} (n={len(results)})")
+    print(f"{'='*60}")
+    print(f"CER (lower is better):  {df['cer'].mean():.4f} ± {df['cer'].std():.4f}")
+    print(f"WER (lower is better):  {df['wer'].mean():.4f} ± {df['wer'].std():.4f}")
+    print(f"BLEU (higher is better): {df['bleu'].mean():.4f} ± {df['bleu'].std():.4f}")
+    print(f"EM (higher is better):   {df['em'].mean():.4f} ({int(df['em'].sum())} / {len(results)})")
+    
+    # Show sample failures
+    failures = df[df['em'] == 0].head(3)
+    if len(failures) > 0:
+        print(f"\nSample Failures (first 3):")
+        for idx, row in failures.iterrows():
+            print(f"  Input:    {row['singlish']}")
+            print(f"  Expected: {row['expected']}")
+            print(f"  Got:      {row['predicted']}")
+            print()
+
+def main():
+    import sys
+    
+    device = "cuda" if torch.cuda.is_available() else "cpu"
+    print(f"Using device: {device}")
+    
+    # Parse command line args for sample limits
+    max_formal = int(sys.argv[1]) if len(sys.argv) > 1 else None
+    max_informal = int(sys.argv[2]) if len(sys.argv) > 2 else None
+    
+    # Initialize model
+    print("Loading BeamSearchDecoder (ByT5 + MLM reranker)...")
+    decoder = BeamSearchDecoder(device=device)
+    
+    # Load test sets
+    test_dir = Path("IndoNLP-2025-Shared-Task/Test Dataset/Sinhala")
+    
+    print("\nLoading Test Set 1 (formal, 10K)...")
+    formal_samples = load_test_set(test_dir / "Sinhala Test set 1.txt", max_samples=max_formal)
+    print(f"Loaded {len(formal_samples)} formal samples")
+    
+    print("Loading Test Set 2 (informal, 5K)...")
+    informal_samples = load_test_set(test_dir / "Sinhala Test set 2.txt", max_samples=max_informal)
+    print(f"Loaded {len(informal_samples)} informal samples")
+    
+    # Evaluate
+    print("\n" + "="*60)
+    print(f"EVALUATING FORMAL SUBSET ({len(formal_samples)} samples)")
+    print("="*60)
+    formal_results = evaluate_samples(decoder, formal_samples, device)
+    
+    print("\n" + "="*60)
+    print(f"EVALUATING INFORMAL SUBSET ({len(informal_samples)} samples)")
+    print("="*60)
+    informal_results = evaluate_samples(decoder, informal_samples, device)
+    
+    # Print results
+    print_metrics(formal_results, f"Formal ({len(formal_results)})")
+    print_metrics(informal_results, f"Informal ({len(informal_results)})")
+    
+    # Overall
+    all_results = formal_results + informal_results
+    print_metrics(all_results, f"OVERALL ({len(all_results)} samples)")
+    
+    # Save detailed results
+    results_df = pd.DataFrame(all_results)
+    results_df.to_csv("misc/indo_nlp_eval_results.csv", index=False)
+    print(f"\nDetailed results saved to: misc/indo_nlp_eval_results.csv")
+    
+    # Save summary
+    summary = {
+        'Subset': [f'Formal ({len(formal_results)})', f'Informal ({len(informal_results)})', f'Overall ({len(all_results)})'],
+        'CER': [
+            f"{pd.DataFrame(formal_results)['cer'].mean():.4f}",
+            f"{pd.DataFrame(informal_results)['cer'].mean():.4f}",
+            f"{results_df['cer'].mean():.4f}"
+        ],
+        'WER': [
+            f"{pd.DataFrame(formal_results)['wer'].mean():.4f}",
+            f"{pd.DataFrame(informal_results)['wer'].mean():.4f}",
+            f"{results_df['wer'].mean():.4f}"
+        ],
+        'BLEU': [
+            f"{pd.DataFrame(formal_results)['bleu'].mean():.4f}",
+            f"{pd.DataFrame(informal_results)['bleu'].mean():.4f}",
+            f"{results_df['bleu'].mean():.4f}"
+        ],
+        'EM': [
+            f"{pd.DataFrame(formal_results)['em'].mean():.4f}",
+            f"{pd.DataFrame(informal_results)['em'].mean():.4f}",
+            f"{results_df['em'].mean():.4f}"
+        ]
+    }
+    summary_df = pd.DataFrame(summary)
+    summary_df.to_csv("misc/indo_nlp_eval_summary.csv", index=False)
+    print(f"Summary saved to: misc/indo_nlp_eval_summary.csv")
+
+if __name__ == "__main__":
+    main()

misc/indo_nlp_eval_results.csv

@@ -0,0 +1,21 @@
+singlish,expected,predicted,cer,wer,bleu,em
+awankawama mata eya mathaka ethi akaraya eyayi namuth eya wikarayaki mama obata ashwaya kerehi wedi elmak nodakwana namuth eya mage wilasithawa nowe,අවංකවම මට එය මතක ඇති ආකාරය එයයි නමුත් එය විකාරයකි මම ඔබට අශ්වයා කෙරෙහි වැඩි ඇල්මක් නොදක්වන නමුත් එය මගේ විලාසිතාව නොවේ,අවංකවාම මට එය මතක ඇති ආකාරය එයයි නමුත් එය විකරයකි මම ඔබටා අශවය කෙරෙහි වැඩි ඇලීමක් නොදක්වාන නමුත් එය මගේ විලාසිතව නොවේ,0.03829787234042559,0.31818181818181823,0.6818181818181818,0.0
+oba mage aneka yeyi adahas karanne kese ho oba ema wilasithawata andinne mandeyi mama asami,ඔබ මගේ අනෙකා යැයි අදහස් කරන්නේ කෙසේ හෝ ඔබ එම විලාසිතාවට අඳින්නේ මන්දැයි මම අසමි,ඔබ මගේ අණෙක යැයි අදහස් කරන්නේ කෙසේ හෝ ඔබ ඒම විලාසිතවට අඳින්නේ මන්දැයි මම අසමි,0.038461538461538436,0.19999999999999996,0.8,0.0
+mama kiwa yuthuyi oba wedipura penenne obe mahalu athmayayi oba adahas karanne mage aneka bawayi,මම කිව යුතුයි ඔබ වැඩිපුර පෙනෙන්නේ ඔබේ මහලු ආත්මයයි ඔබ අදහස් කරන්නේ මගේ අනෙකා බවයි,මම කිව යුතුයි ඔබ වැඩිපුරා පෙනෙන්නේ ඔබේ ම ආතේමයයි ඔබ අදහස් කරන්නේ මගේ අනෙකා බවයි,0.03749999999999998,0.19999999999999996,0.8,0.0
+kese ho oba ese andinne mandeyi mata eseemata ida etha mama shokayen sitina bawa pehedili yeyi mata sithiya yuthuwa thibuni,"කෙසේ හෝ ඔබ එසේ අඳින්නේ මන්දැයි මට ඇසීමට ඉඩ ඇත, මම ශෝකයෙන් සිටින බව පැහැදිලි යැයි මට සිතිය යුතුව තිබුණි",කෙසේ හෝ ඔබ එසේ අඳින්නේ මන්දැයි මට ඇසීමට ඉඩ ඇත මම ශෝකයෙන් සිටින බව පැහැදිලි යැයි මට සිතිය යුතුව තිබුණි,0.0049261083743842304,0.050000000000000044,0.95,0.0
+mona hari adahas monada,මොනා හරි අදහස් මොනාද,මොන හරි අදහසේ මොනද,0.10526315789473684,0.75,0.25,0.0
+ohu rajakeeya saththwa widya sangamaye samajikayek bawa ohuge sapaththuwe liya etha,ඔහු රාජකීය සත්ත්ව විද්‍යා සංගමයේ සාමාජිකයෙක් බව ඔහුගේ සපත්තුවේ ලියා ඇත,ඔහු රාජකීය සත්ත්ව වෛද්‍ය සංගමයේ සාමජිකයෙක් බව ඔහුගේ සපත්තුවේ ලියා ඇත,0.02898550724637683,0.18181818181818177,0.8181818181818182,0.0
+onema adahasak hondayi ohu rajakeeya sathwa widya sangamaye sagayeki,"ඕනෑම අදහසක් හොඳයි, ඔහු රාජකීය සත්ව විද්‍යා සංගමයේ සගයෙකි",ඕනෑම අදහසක් හොඳායි ඔහු රාජකීය සතව විද්‍ය සංගමයේ සගයේකි,0.054545454545454564,0.4444444444444444,0.5555555555555556,0.0
+samanya denuma misis peel ethana ege kate thibba,සාමාන්‍ය දැනුම මිසිස් පීල් එතන ඇගේ කටේ තිබ්බා,සමන්‍ය දෑනුම මිසිස් පීලා එතාන ඒගේ කටේ තිබෙබ,0.13636363636363635,0.75,0.25,0.0
+oba wenuwen misis peel sthuthiyi mata awadanam helo kireemata ida deema gena oba adahas karanne kumakdeyi mama dakimi,ඔබ වෙනුවෙන් මිසිස් පීල් ස්තූතියි මට අවදානම් හෙලෝ කිරීමට ඉඩ දීම ගැන ඔබ අදහස් කරන්නේ කුමක්දැයි මම දකිමි,ඔබ වෙනුවෙන් මිසිසෝ පීළා සතූතියි මට ආවඩනම හේලෝ කිරීමට ඉඩ දීම ගැන ඔබ අදහස් කරන්නේ කුමක්දැයි මම දකිමි,0.07537688442211055,0.2777777777777778,0.7222222222222222,0.0
+namuth kawuruhari kriyawaliya kuda kara ethnam api weda karamin sitiye eyayi,නමුත් කවුරුහරි ක්‍රියාවලිය කුඩා කර ඇත්නම් අපි වැඩ කරමින��� සිටියේ එයයි,නමුත් කවුරුහාරි ක්‍රියවලිය කුද ඛාර එතෙනම අපි වැඩ කරමින් සිටියෙ එයයි,0.11111111111111116,0.5454545454545454,0.45454545454545453,0.0
+mta eka prshnyk ahanna puluwn nm awulak ne,මට එක ප්‍රශ්නයක් අහන්න පුළුවන් නම් අවුලක් නෑ,මට එක ප්‍රශ්නයක අහන්න පුළුවන් නම් අවුලක් නෑ,0.011494252873563204,0.125,0.875,0.0
+hondyi eka modyi wge,"හොඳයි, ඒක මෝඩයි වගේ",හොඳයි ඒක මෝඩයි වගේ,0.027027027027026973,0.25,0.75,0.0
+kmk nehe modyi wge,කමක් නැහැ මෝඩයි වගේ,කමක් නැහැ මෝදයි වගේ,0.052631578947368474,0.25,0.75,0.0
+kmk nehe oba eyta kemthi nownu etha,කමක් නැහැ ඔබ එයට කැමති නොවනු ඇත,කමක් නැහැ ඔබ එයට කැමති නොවනු ඇත,0.0,0.0,1.0,1.0
+oba eyta kemthi nownu etha eya asanna,"ඔබ එයට කැමති නොවනු ඇත, එය අසන්න",ඔබ එයට කැමති නොවනු ඇත එය අසන්න,0.016393442622950838,0.1428571428571429,0.8571428571428571,0.0
+eya wda honda deyi asanna,එය වඩා හොඳ දැයි අසන්න,ඒය වෙද හොඳ දේයි අසනන,0.2195121951219512,0.8,0.2,0.0
+mma hithnne ohu smnga lingikwa hesireema wda hondyi,මම හිතන්නේ ඔහු සමඟ ලිංගිකව හැසිරීම වඩා හොඳයි,මම හිතන්නේ ඔහු සමඟ ලිංගිකව හැසිරීමා වඩා හොඳයි,0.011235955056179803,0.125,0.875,0.0
+hondyi lingikwa hesireema mma hithnne ohu smnga lingikwa ekweema wda honda jesus kristhu rob eyyi eththtma obta krdra krnne,හොඳයි ලිංගිකව හැසිරීම මම හිතන්නේ ඔහු සමඟ ලිංගිකව එක්වීම වඩා හොඳ ජේසුස් ක්‍රිස්තු රොබ් එයයි ඇත්තටම ඔබට කරදර කරන්නේ,හොඳායි ලිඟිකව හැසිරීමා මම හිතන්නේ ඔහු සමඟ ලිංගිකව එක්වීම වඩා හොඳ ජීසුස් කොරිස්තු රෝබ් එයයි ඇත්තටම ඔබට කරදර කරන්නේ,0.053097345132743334,0.3157894736842105,0.6842105263157895,0.0
+eththa wshyenma eya oba sebwinma sithnne eya kese ho wensk wnu ethi bwyi,ඇත්ත වශයෙන්ම එය ඔබ සැබවින්ම සිතන්නේ එය කෙසේ හෝ වෙනසක් වනු ඇති බවයි,ඇත්ත වශයෙන්ම ඒය ඔබ සැබෑවින්ම සිතන්නේ එය කෙසේ හෝ වෙනසක් වනු ඇති බවයි,0.022556390977443663,0.15384615384615385,0.8461538461538461,0.0
+oba eththtma sithnne eya mma nodnna akarayen wensk ethi kryi kiyya,ඔබ ඇත්තටම සිතන්නේ එය මම නොදන්න ආකාරයෙන් වෙනසක් ඇති කරයි කියාය,ඔබ ඇත්තටම සිතන්නේ එය මම නොදන්නා ආකාරයෙන් වෙනසක් ඇති කරයි කියාය,0.008130081300813052,0.09090909090909094,0.9090909090909091,0.0

misc/indo_nlp_eval_summary.csv

@@ -0,0 +1,4 @@
+Subset,CER,WER,BLEU,EM
+Formal (10),0.0631,0.3718,0.6282,0.0000
+Informal (10),0.0422,0.2253,0.7747,0.1000
+Overall (20),0.0526,0.2986,0.7014,0.0500

misc/indo_nlp_results.csv

@@ -0,0 +1,11 @@
+singlish,expected,predicted,subset,cer,wer,bleu,em
+awankawama mata eya mathaka ethi akaraya eyayi namuth eya wikarayaki mama obata ashwaya kerehi wedi elmak nodakwana namuth eya mage wilasithawa nowe,අවංකවම මට එය මතක ඇති ආකාරය එයයි නමුත් එය විකාරයකි මම ඔබට අශ්වයා කෙරෙහි වැඩි ඇල්මක් නොදක්වන නමුත් එය මගේ විලාසිතාව නොවේ,අවංකවාම මට එය මතක ඇති ආකාරය එයයි නමුත් එය විකරයකි මම ඔබටා අශවය කෙරෙහි වැඩි ඇලීමක් නොදක්වාන නමුත් එය මගේ විලාසිතව නොවේ,formal,0.03829787234042559,0.31818181818181823,0.6818181818181818,0
+oba mage aneka yeyi adahas karanne kese ho oba ema wilasithawata andinne mandeyi mama asami,ඔබ මගේ අනෙකා යැයි අදහස් කරන්නේ කෙසේ හෝ ඔබ එම විලාසිතාවට අඳින්නේ මන්දැයි මම අසමි,ඔබ මගේ අණෙක යැයි අදහස් කරන්නේ කෙසේ හෝ ඔබ ඒම විලාසිතවට අඳින්නේ මන්දැයි මම අසමි,formal,0.038461538461538436,0.19999999999999996,0.8,0
+mama kiwa yuthuyi oba wedipura penenne obe mahalu athmayayi oba adahas karanne mage aneka bawayi,මම කිව යුතුයි ඔබ වැඩිපුර පෙනෙන්නේ ඔබේ මහලු ආත්මයයි ඔබ අදහස් කරන්නේ මගේ අනෙකා බවයි,මම කිව යුතුයි ඔබ වැඩිපුරා පෙනෙන්නේ ඔබේ ම ආතේමයයි ඔබ අදහස් කරන්නේ මගේ අනෙකා බවයි,formal,0.03749999999999998,0.19999999999999996,0.8,0
+kese ho oba ese andinne mandeyi mata eseemata ida etha mama shokayen sitina bawa pehedili yeyi mata sithiya yuthuwa thibuni,"කෙසේ හෝ ඔබ එසේ අඳින්නේ මන්දැයි මට ඇසීමට ඉඩ ඇත, මම ශෝකයෙන් සිටින බව පැහැදිලි යැයි මට සිතිය යුතුව තිබුණි",කෙසේ හෝ ඔබ එසේ අඳින්නේ මන්දැයි මට ඇසීමට ඉඩ ඇත මම ශෝකයෙන් සිටින බව පැහැදිලි යැයි මට සිතිය යුතුව තිබුණි,formal,0.0049261083743842304,0.050000000000000044,0.95,0
+mona hari adahas monada,මොනා හරි අදහස් මොනාද,මොන හරි අදහසේ මොනද,formal,0.10526315789473684,0.75,0.25,0
+mta eka prshnyk ahanna puluwn nm awulak ne,මට එක ප්‍රශ්නයක් අහන්න පුළුවන් නම් අවුලක් නෑ,මට එක ප්‍රශ්නයක අහන්න පුළුවන් නම් අවුලක් නෑ,informal,0.011494252873563204,0.125,0.875,0
+hondyi eka modyi wge,"හොඳයි, ඒක මෝඩයි වගේ",හොඳයි ඒක මෝඩයි වගේ,informal,0.027027027027026973,0.25,0.75,0
+kmk nehe modyi wge,කමක් නැහැ මෝඩයි වගේ,කමක් නැහැ මෝදයි වගේ,informal,0.052631578947368474,0.25,0.75,0
+kmk nehe oba eyta kemthi nownu etha,කමක් නැහැ ඔබ එයට කැමති නොවනු ඇත,කමක් නැහැ ඔබ එයට කැමති නොවනු ඇත,informal,0.0,0.0,1.0,1
+oba eyta kemthi nownu etha eya asanna,"ඔබ එයට කැමති නොවනු ඇත, එය අසන්න",ඔබ එයට කැමති නොවනු ඇත එය අසන්න,informal,0.016393442622950838,0.1428571428571429,0.8571428571428571,0

misc/internal_test_set_500.csv

@@ -0,0 +1,501 @@
+id,category,input,code_mixed_reference
+1,colloquial,api heta gedara yanawa,අපි හෙට ගෙදර යනවා
+2,colloquial,mama dan inne office eke,මම දැන් ඉන්නේ office එකේ
+3,code_mixed,mage assignment eka submit kala,මගේ assignment එක submit කළා
+4,code_mixed,api meeting eka cancel kala,අපි meeting එක cancel කළා
+5,formal,obage upakarayata apage wishesha sthuthiya.,ඔබගේ උපකාරයට අපගේ විශේෂ ස්තූතිය.
+6,long_sentence,mema videowe bit rate eka godak wadi nisa buffer wenawa,මෙම වීඩියෝවේ bit rate එක ගොඩක් වැඩි නිසා buffer වෙනවා
+7,short_phrase,honda naa,හොඳ නෑ
+8,edge_case,api 3 dena passe yamu,අපි 3 දෙනා පස්සේ යමු
+9,colloquial,oya dan koheda yanne,ඔයා දැන් කොහේද යන්නේ
+10,colloquial,mata ada godak wada thiyenawa,මට අද ගොඩක් වැඩ තියෙනවා
+11,colloquial,heta ude keeyatada enne,හෙට උදේ කීයටද එන්නේ
+12,colloquial,amma ada monawada kaama haduwe,අම්මා අද මොනවාද කෑම හැදුවේ
+13,colloquial,mata hariyata ninda giye na,මට හරියට නින්ද ගියේ නෑ
+14,colloquial,nikan boru kiyanna epa,නිකන් බොරු කියන්න එපා
+15,colloquial,api passe welawaka katha karamu,අපි පස්සේ වෙලාවක කතා කරමු
+16,colloquial,eka dakkama mata baya hithuna,ඒක දැක්කම මට බය හිතුණා
+17,colloquial,mama ada game giya,මම අද ගමේ ගියා
+18,colloquial,oya thama kewe nadda,ඔයා තාම කෑවේ නැද්ද
+19,colloquial,api dennath ekka heta yamu,අපි දෙන්නත් එක්ක හෙට යමු
+20,colloquial,dan nikan inna epa wada karanna,දැන් නිකන් ඉන්න එපා වැඩ කරන්න
+21,colloquial,thama bus eka awe na,තාම බස් එක ආවේ නෑ
+22,colloquial,wathura nathiwa inna ba,වතුර නැතිව ඉන්න බෑ
+23,colloquial,dan hariyata mahansi wage,දැන් හරියට මහන්සි වගේ
+24,colloquial,ai oya ehema kale,ඇයි ඔයා එහෙම කළේ
+25,colloquial,mata oya gana tharahak na,මට ඔයා ගැන තරහක් නෑ
+26,colloquial,oya thawa kaama ganna,ඔයා තව කෑම ගන්න
+27,colloquial,me pota kiyawala balanna,මේ පොත කියවලා බලන්න
+28,colloquial,thaththa dan gedara awada,තාත්තා දැන් ගෙදර ආවාද
+29,colloquial,api moko karanne dan,අපි මොකෝ කරන්නේ දැන්
+30,colloquial,poddak inna mama enakan,පොඩ්ඩක් ඉන්න මම එනකන්
+31,colloquial,dan moko hithenne,දැන් මොකෝ හිතෙන්නේ
+32,colloquial,hama dama ekama kaama,හැමදාම එකම කෑම
+33,colloquial,malli ada school giya,මල්ලි අද school ගියා
+34,colloquial,oya dan moko karanne,ඔයා දැන් මොකෝ කරන්නේ
+35,colloquial,me paara mara rasnei,මේ පාර මාර රස්නෙයි
+36,colloquial,oya dan mawa rawattuwa,ඔයා දැන් මාව රැවැට්ටුවා
+37,colloquial,e gana hithanna epa,ඒ ගැන හිතන්න එපා
+38,colloquial,dan nam godak rathri wela,දැන් නම් ගොඩක් රාත්‍රී වෙලා
+39,colloquial,heta ude wenakan inna,හෙට උදේ වෙනකන් ඉන්න
+40,colloquial,oya hariyata katha karanna,ඔයා හරියට කතා කරන්න
+41,colloquial,mata nam eka epa wuna,මට නම් ඒක එපා වුණා
+42,colloquial,poddi kiyatada enne,පොඩ්ඩී කීයටද එන්නේ
+43,colloquial,oya ada gedarada inne,ඔයා අද ගෙදරද ඉන්නේ
+44,colloquial,meka hariyata karanna balanna,මේක හරියට කරන්න බලන්න
+45,colloquial,mata nam mara badagini dan,මට නම් මාර බඩගිනියි දැන්
+46,colloquial,oya kiyana de mata therenne na,ඔයා කියන දේ මට තේරෙන්නේ නෑ
+47,colloquial,ada ude hariyata wassa,අද උදේ හරියට වැස්සා
+48,colloquial,mama dan kade yanawa,මම දැන් කඩේ යනවා
+49,colloquial,api eka parak yamu balanna,අපි එක පාරක් යමු බලන්න
+50,colloquial,kauruwath awe na thama,කවුරුවත් ආවේ නෑ තාම
+51,colloquial,hondata kaala nidaganna,හොඳට කාලා නිදාගන්න
+52,colloquial,dan nam wada wadi,දැන් නම් වැඩ වැඩියි
+53,colloquial,oya moko kiyanne e gana,ඔයා මොකෝ කියන්නේ ඒ ගැන
+54,colloquial,dan eliyata yanna epa,ද��න් එළියට යන්න එපා
+55,colloquial,mata sathutuwen inna one,මට සතුටුවෙන් ඉන්න ඕනේ
+56,colloquial,moko oya bayawela wage,මොකෝ ඔයා බයවෙලා වගේ
+57,colloquial,api thawa tikakin katha karamu,අපි තව ටිකකින් කතා කරමු
+58,colloquial,oya ada kiyatada yanne,ඔයා අද කීයටද යන්නේ
+59,colloquial,mama loku deyak kale na,මම ලොකු දෙයක් කළේ නෑ
+60,colloquial,poddak udaw karanna puluwanda,පොඩ්ඩක් උදව් කරන්න පුළුවන්ද
+61,colloquial,heta ude game yanna one,හෙට උදේ ගමේ යන්න ඕනේ
+62,colloquial,me dawas wala hariyata rathne,මේ දවස් වල හරියට රත්නේ
+63,colloquial,mata oya gana mara dukai,මට ඔයා ගැන මාර දුකයි
+64,colloquial,moko mechchara tharaha gihin,මොකෝ මෙච්චර තරහ ගිහින්
+65,colloquial,api hita hita inna epa,අපි හිත හිත ඉන්න එපා
+66,colloquial,oya ada kohedo hitiye,ඔයා අද කොහේද හිටියේ
+67,colloquial,me de karanna ba kiyanna epa,මේ දේ කරන්න බෑ කියන්න එපා
+68,colloquial,oya dan hariyata wenas wela,ඔයා දැන් හරියට වෙනස් වෙලා
+69,colloquial,api heta canteen ekedi hamuwemu,අපි හෙට canteen එකේදී හමුවෙමු
+70,colloquial,kaama thama lipe thiyenne,කෑම තාම ලිපේ තියෙන්නේ
+71,colloquial,oya mawa dakke nadda,ඔයා මාව දැක්කේ නැද්ද
+72,colloquial,me parashne wisadanna balamu,මේ ප්‍රශ්නේ විසඳන්න බලමු
+73,colloquial,mama heta kiyatath yannam,මම හෙට කීයටත් යන්නම්
+74,colloquial,mata ada tikak amaru wage,මට අද ටිකක් අමාරු වගේ
+75,colloquial,dan kauruwath gedara na,දැන් කවුරුවත් ගෙදර නෑ
+76,colloquial,mama heta ude ennamko,මම හෙට උදේ එන්නම්කෝ
+77,colloquial,oya kiyana eka boru,ඔයා කියන එක බොරු
+78,colloquial,mata nikan ninda yanawa dan,මට නිකන් නින්ද යනවා දැන්
+79,colloquial,thawa deyak kiyanna one,තව දෙයක් කියන්න ඕනේ
+80,colloquial,moko oya thama awe natthe,මොකෝ ඔයා තාම ආවේ නැත්තේ
+81,colloquial,mama ada library gihin awa,මම අද library ගිහින් ආවා
+82,colloquial,poddak methanata enna,පොඩ්ඩක් මෙතනට එන්න
+83,colloquial,dan oya moko kiyanne,දැන් ඔයා මොකෝ කියන්නේ
+84,colloquial,mata moko une kiyala therenne na,මට මොකෝ වුණේ කියලා තේරෙන්නේ නෑ
+85,colloquial,poddak inna kiyala kiyanna,පොඩ්ඩක් ඉන්න කියලා කියන්න
+86,colloquial,oya mawa amataka kala neda,ඔයා මාව අමතක කළා නේද
+87,colloquial,kaama kaddi katha karanna epa,කෑම කද්දී කතා කරන්න එපා
+88,colloquial,mama heta ude call karannam,මම හෙට උදේ call කරන්නම්
+89,colloquial,moko oya ada lassanata inne,මොකෝ ඔයා අද ලස්සනට ඉන්නේ
+90,colloquial,mama dan hariyata bayawela inne,මම දැන් හරියට බයවෙලා ඉන්නේ
+91,colloquial,me parashne nam iwarayak na,මේ ප්‍රශ්නේ නම් ඉවරයක් නෑ
+92,colloquial,api moko hithanne heta gana,අපි මොකෝ හිතන්නේ හෙට ගැන
+93,colloquial,mama dan nikan innawa,මම දැන් නිකන් ඉන්නවා
+94,colloquial,oya moko ada parakku,ඔයා මොකෝ අද පරක්කු
+95,colloquial,mata ada raama yanawa,මට අද රෑම යනවා
+96,colloquial,poddak methana indagena inna,පොඩ්ඩක් මෙතන ඉඳගෙන ඉන්න
+97,colloquial,oya heta yanawada kade,ඔයා හෙට යනවාද කඩේ
+98,colloquial,mata kisima deyak therenne na,මට කිසිම දෙයක් තේරෙන්නේ නෑ
+99,colloquial,thawa tika welawakin yamu,තව ටික වෙලාවකින් යමු
+100,colloquial,oya moko ehema balanne,ඔයා මොකෝ එහෙම බලන්නේ
+101,colloquial,mata nam epa wela thiyenne,මට නම් එපා වෙලා තියෙන්නේ
+102,colloquial,oya ada moko karanne,ඔයා අද මොකෝ කරන්නේ
+103,colloquial,dan yamu nikan inna epa,දැන් යමු නිකන් ඉන්න එපා
+104,colloquial,thawa tikak welawa ganna,තව ටිකක් වෙලාව ගන්න
+105,colloquial,mata badagini na dan,මට බඩගිනි නෑ දැන්
+106,colloquial,moko mechchara wada thiyenne,මොකෝ මෙච්චර වැඩ තියෙන්නේ
+107,colloquial,api heta udema yamu,අපි හෙට උදේම යමු
+108,colloquial,mama ada knna giye na,මම අද කන්න ගියේ නෑ
+109,colloquial,dan mata mara amaruwak thiyenne,දැන් මට මාර අමාරුවක් තියෙන්නේ
+110,colloquial,oya kiyana de mata therenawa,ඔයා කියන දේ මට තේරෙනවා
+111,colloquial,api meka karala iwara karamu,අපි මේක කරලා ඉවර කරමු
+112,colloquial,mama ada nidagatta na thama,මම අද නිදාගත්තා නෑ තාම
+113,colloquial,poddak inna mama katha karannam,පොඩ්ඩක් ඉන්න මම කතා කරන්නම්
+114,colloquial,moko mechchara hithanne oya,මොකෝ මෙච්චර හිතන්නේ ඔයා
+115,colloquial,api heta raata hamuwemu,අපි හෙට රෑට හමුවෙමු
+116,colloquial,oya mara deyakne karanne,ඔයා මාර දෙයක්නේ කරන්නේ
+117,colloquial,mata tikak dunnoth hondai,මට ටිකක් දුන්නොත් හොඳයි
+118,colloquial,oya ada kade giyada,ඔයා අද කඩේ ගියාද
+119,colloquial,dan mata kisima bayak na,දැන් මට කිසිම බයක් නෑ
+120,colloquial,oya mawa dakka neda ada,ඔයා මාව දැක්කා නේද අද
+121,colloquial,poddak inna meka kiyanna,පොඩ්ඩක් ඉන්න මේක කියන්න
+122,colloquial,mata ada loku prashnayak thiyenawa,මට අද ලොකු ප්‍රශ්නයක් තියෙනවා
+123,colloquial,moko me tharah gihin inne,මොකෝ මේ තරහ ගිහින් ඉන්නේ
+124,colloquial,oya heta kiyatada enne,ඔයා හෙට කීයටද එන්නේ
+125,colloquial,mama ada kaama haduwe na,මම අද කෑම හැදුවේ නෑ
+126,colloquial,dan katha karala wadak na,දැන් කතා කරලා වැඩක් නෑ
+127,colloquial,oya mawa amataka karanne epa,ඔයා මාව අමතක කරන්නේ එපා
+128,colloquial,dan mara widihata wassa,දැන් මාර විදිහට වැස්සා
+129,colloquial,api heta gedara yanawada,අපි හෙට ගෙදර යනවාද
+130,colloquial,mama ada dan hitiye na,මම අද දන්න හිටියේ නෑ
+131,colloquial,poddak inna thawa tikakin ennam,පොඩ්ඩක් ඉන්න තව ටිකකින් එන්නම්
+132,code_mixed,e class eka cancel una,ඒ class එක cancel වුණා
+133,code_mixed,mama application eka download kala,මම application එක download කළා
+134,code_mixed,lecture eka thiyenne kiyatada,lecture එක තියෙන්නේ කීයටද
+135,code_mixed,oyage computer eka update karanna,ඔයාගේ computer එක update කරන්න
+136,code_mixed,mata me project eka godak wadagath,මට මේ project එක ගොඩක් වැදගත්
+137,code_mixed,results kawada eyida danne na,results කවදා එයිද දන්නේ නෑ
+138,code_mixed,oyage id card eka genna,ඔයාගේ id card එක ගේන්න
+139,code_mixed,mama internship eka start kala,මම internship එක start කළා
+140,code_mixed,canteen eka dan wahala athi,canteen එක දැන් වහලා ඇති
+141,code_mixed,oya presentation eka ready da,ඔයා presentation එක ready ද
+142,code_mixed,mama ada office giye na,මම අද office ගියේ නෑ
+143,code_mixed,mema data set eka evaluate karanna,මෙම data set එක evaluate කරන්න
+144,code_mixed,oya link eka send karanna,ඔයා link එක send කරන්න
+145,code_mixed,mata internet slow wela ada,මට internet slow වෙලා අද
+146,code_mixed,exam hall ekata yanna parakku wenawa,exam hall එකට යන්න පරක්කු වෙනවා
+147,code_mixed,oyage feedback eka ewanna balanna,ඔයාගේ feedback එක එවන්න බලන්න
+148,code_mixed,mama mage mobile phone eka nathi kala,මම මගේ mobile phone එක නැති කළා
+149,code_mixed,lecture notes kiyawala balanna one,lecture notes කියවලා බලන්න ඕනේ
+150,code_mixed,oyage user account eka block wela,ඔයාගේ user account එක block වෙලා
+151,code_mixed,mama application eka submit kala ada,මම application එක submit කළා අද
+152,code_mixed,oya project report eka finalize kalaada,ඔයා project report එක finalize කළාද
+153,code_mixed,oya system eka install karala thiyenne,ඔයා system එක install කරලා තියෙන්නේ
+154,code_mixed,mata me course eka amaru wage,මට මේ course එක අමාරු වගේ
+155,code_mixed,oyage account balance eka check karanna,ඔයාගේ account balance එක check කරන්න
+156,code_mixed,api meka group chat eke katha karamu,අපි මේක group chat එකේ කතා කරමු
+157,code_mixed,oya registration form eka fill karanna,ඔයා registration form එක fill කරන්න
+158,code_mixed,mama profile picture eka change kala,මම profile picture එක change කළා
+159,code_mixed,lecture eka record karanna puluwanda,lecture එක record කරන්න පුළුවන්ද
+160,code_mixed,mama mage password eka amataka kala,මම මගේ password එක අමතක කළා
+161,code_mixed,oya video eka watch kalaada,ඔයා video එක watch කළාද
+162,code_mixed,api next week eke yamu,අපි next week එකේ යමු
+163,code_mixed,oyage message eka labuna mata,ඔයාගේ message එක ලැබුණා මට
+164,code_mixed,mama application form eka sign kala,මම application form එක sign කළා
+165,code_mixed,oya photo eka edit karala ewanna,ඔයා photo එක edit කරලා එවන්න
+166,code_mixed,mata laptop eka repair karanna one,මට laptop එක repair කරන්න ඕනේ
+167,code_mixed,oyage results online balanna puluwan,ඔයාගේ results online බලන්න පුළුවන්
+168,code_mixed,api meka online meet wela karamu,අපි මේක online meet වෙලා කරමු
+169,code_mixed,oya driver eka update karala thiyenne,ඔයා driver එක update කරලා තියෙන්නේ
+170,code_mixed,mama browser eka refresh kala dan,මම browser එක refresh කළා දැන්
+171,code_mixed,oyage payment eka successful wela thiyenne,ඔයාගේ payment එක successful වෙලා තියෙන්නේ
+172,code_mixed,mama file eka download karala iwarai,මම file එක download කරලා ඉවරයි
+173,code_mixed,oyage profile eka update karanna balanna,ඔයාගේ profile එක update කරන්න බලන්න
+174,code_mixed,mama application status eka check kala,මම application status එක check කළා
+175,code_mixed,oya post eka share karala thiyenne,ඔයා post එක share කරලා තියෙන්නේ
+176,code_mixed,mama notification eka dakke na thama,මම notification එක දැක්කේ නෑ තාම
+177,code_mixed,oya meeting invite eka accept kalaada,ඔයා meeting invite එක accept කළාද
+178,code_mixed,mama mage location eka share karannam,මම මගේ location එක share කරන්නම්
+179,code_mixed,oyage internet connection eka check karanna,ඔයාගේ internet connection එක check කරන්න
+180,code_mixed,mama server eka restart kala dan,මම server එක restart කළා දැන්
+181,code_mixed,oya update eka install karala thiyenne,ඔයා update එක install කරලා තියෙන්නේ
+182,code_mixed,mama message eka reply kala ada,මම message එක reply කළා අද
+183,code_mixed,oya file eka upload karala thiyenne,ඔයා file එක upload කරලා තියෙන්නේ
+184,code_mixed,mama website eka search kala godak,මම website එක search කළා ගොඩක්
+185,code_mixed,oyage order eka confirm wela thiyenne,ඔයාගේ order එක confirm වෙලා තියෙන්නේ
+186,code_mixed,mama notification eka clear kala dan,මම notification එක clear කළා දැන්
+187,code_mixed,oya user id eka check karanna,ඔයා user id එක check කරන්න
+188,code_mixed,mama backup eka restore kala ada,මම backup එක restore කළා අද
+189,code_mixed,oya process eka start karala thiyenne,ඔයා process එක start කරලා තියෙන්නේ
+190,code_mixed,mama account settings change kala tika,මම account settings change කළා ටික
+191,code_mixed,oya system error eka fix kalaada,ඔයා system error එක fix කළාද
+192,code_mixed,mama security code eka enter kala,මම security code එක enter කළා
+193,code_mixed,oya mobile app eka update karanna,ඔයා mobile app එක update කරන්න
+194,code_mixed,mama login details share kala ada,මම login details share කළා අද
+195,code_mixed,oya verification email eka check karanna,ඔයා verification email එක check කරන්න
+196,code_mixed,mama feedback form eka submit kala,මම feedback form එක submit කළා
+197,code_mixed,oya project goal eka achieve kalaada,ඔයා project goal එක achieve කළාද
+198,code_mixed,mama link eka copy karala thibba,මම link එක copy කරලා තිබ්බා
+199,code_mixed,oya task eka complete karala thiyenne,ඔයා task එක complete කරලා තියෙන්නේ
+200,code_mixed,mama data entry kala iwaraik,මම data entry කළා ඉවරයි
+201,code_mixed,oya screen share eka enable karanna,ඔයා screen share එක enable කරන්න
+202,code_mixed,mama call eka disconnect kala dan,මම call එක disconnect කළා දැන්
+203,code_mixed,oya message eka delete karala thiyenne,ඔයා message එක delete කරලා තියෙන්නේ
+204,code_mixed,mama audio quality eka check kala,මම audio quality එක check කළා
+205,code_mixed,oya output eka verify karala thiyenne,ඔයා output එක verify කරලා තියෙන්නේ
+206,code_mixed,mama input data eka validate kala,මම input data එක validate කළා
+207,code_mixed,oya code eka review karala thiyenne,ඔයා code එක review කරලා තියෙන්නේ
+208,code_mixed,mama version control eka check kala,මම version control එක check කළා
+209,code_mixed,oya merge request eka approve kalaada,ඔයා merge request එක approve කළාද
+210,code_mixed,mama documentation eka update kala ada,මම documentation එක update කළා අද
+211,code_mixed,oya bug fix eka test kalaada,ඔයා bug fix එක test කළාද
+212,code_mixed,mama deployment eka success kala dan,මම deployment එක success කළා දැන්
+213,code_mixed,oya release note eka kiyawala thiyenne,ඔයා release note එක කියවලා තියෙන්නේ
+214,code_mixed,mama cloud storage eka use kala,මම cloud storage එක use කළා
+215,code_mixed,oya password reset eka request kalaada,ඔයා password reset එක request කළාද
+216,code_mixed,mama profile info eka edit kala,මම profile info එක edit කළා
+217,code_mixed,oya privacy settings update karala thiyenne,ඔයා privacy settings update කරලා තියෙන්නේ
+218,code_mixed,mama contact list eka sync kala,මම contact list එක sync කළා
+219,code_mixed,oya battery level eka check karanna,ඔයා battery level එක check කරන්න
+220,code_mixed,mama screen brightness eka adu kala,මම screen brightness එක අඩු කළා
+221,code_mixed,oya storage space eka clear karanna,ඔයා storage space එක clear කරන්න
+222,code_mixed,mama software update eka download kala,මම software update එක download කළා
+223,code_mixed,oya network speed eka check kalaada,ඔයා network speed එක check කළාද
+224,code_mixed,mama wifi connection eka fix kala,මම wifi connection එක fix කළා
+225,code_mixed,oya signal strength eka check karanna,ඔයා signal strength එක check කරන්න
+226,code_mixed,mama app permissions change kala ada,මම app permissions change කළා අද
+227,code_mixed,oya cache memory eka clear karanna,ඔයා cache memory එක clear කරන්න
+228,code_mixed,mama database eka optimize kala dan,මම database එක optimize කළා දැන්
+229,code_mixed,oya query eka execute karala thiyenne,ඔයා query එක execute කරලා තියෙන්නේ
+230,code_mixed,mama search result eka filter kala,මම search result එක filter කළා
+231,code_mixed,oya sorting order eka change karanna,ඔයා sorting order එක change කරන්න
+232,code_mixed,mama list eka refresh kala ada,මම list එක refresh කළා අද
+233,code_mixed,oya item eka select karala thiyenne,ඔයා item එක select කරලා තියෙන්නේ
+234,code_mixed,mama chart eka generate kala dan,මම chart එක generate කළා දැන්
+235,code_mixed,oya report eka export karala thiyenne,ඔයා report එක export කරලා තියෙන්නේ
+236,code_mixed,mama file format eka change kala,මම file format එක change කළා
+237,code_mixed,oya image resolution eka check karanna,ඔයා image resolution එක check කරන්න
+238,code_mixed,mama video duration eka adu kala,මම video duration එක අඩු කළා
+239,code_mixed,oya thumbnail eka create karala thiyenne,ඔයා thumbnail එක create කරලා තියෙන්නේ
+240,code_mixed,mama subtitle file eka upload kala,මම subtitle file එක upload කළා
+241,code_mixed,oya audio track eka change karanna,ඔයා audio track එක change කරන්න
+242,code_mixed,mama volume level eka wadi kala,මම volume level එක වැඩි කළා
+243,code_mixed,oya mute button eka press karanna,ඔයා mute button එක press කරන්න
+244,code_mixed,mama playback speed eka change kala,මම playback speed එක change කළා
+245,code_mixed,oya playlist eka create karala thiyenne,ඔයා playlist එක create කරලා තියෙන්නේ
+246,code_mixed,mama album art eka change kala,මම album art එක change කළා
+247,code_mixed,oya artist name eka check karanna,ඔයා artist name එක check කරන්න
+248,code_mixed,mama song title eka edit kala,මම song title එක edit කළා
+249,code_mixed,oya lyrics eka search karala thiyenne,ඔයා lyrics එක search කරලා තියෙන්නේ
+250,code_mixed,mama app store eka check kala,මම app store එක check කළා
+251,code_mixed,oya download link eka click karanna,ඔයා download link එක click කරන්න
+252,code_mixed,mama installation process eka follow kala,මම installation process එක follow කළා
+253,code_mixed,oya setup wizard eka complete karanna,ඔයා setup wizard එක complete කරන්න
+254,code_mixed,mama activation key eka enter kala,මම activation key එක enter කළා
+255,code_mixed,oya license agreement eka accept karanna,ඔයා license agreement එක accept කරන්න
+256,code_mixed,mama terms and conditions kiyewwa,මම terms and conditions කියෙව්වා
+257,code_mixed,oya user manual eka check karanna,ඔයා user manual එක check කරන්න
+258,code_mixed,mama help menu eka search kala,මම help menu එක search කළා
+259,code_mixed,oya customer support eka contact karanna,ඔයා customer support එක contact කරන්න
+260,code_mixed,mama support ticket eka open kala,මම support ticket එක open කළා
+261,code_mixed,oya issue report eka submit karanna,ඔයා issue report එක submit කරන්න
+262,code_mixed,mama status update eka check kala,මම status update එක check කළා
+263,code_mixed,oya resolution details eka check karanna,ඔයා resolution details එක check කරන්න
+264,code_mixed,mama case number eka note kala,මම case number එක note කළා
+265,code_mixed,oya service request eka cancel karanna,ඔයා service request එක cancel කරන්න
+266,code_mixed,mama feedback score eka check kala,මම feedback score එක check කළා
+267,code_mixed,oya rating eka review karala thiyenne,ඔයා rating එක review කරලා තියෙන්නේ
+268,code_mixed,mama comment section eka check kala,මම comment section එක check කළා
+269,code_mixed,oya forum post eka read karanna,ඔයා forum post එක read කරන්න
+270,code_mixed,mama community guideline eka follow kala,මම community guideline එක follow කළා
+271,code_mixed,oya blog post eka publish kalaada,ඔයා blog post එක publish කළාද
+272,code_mixed,mama article eka edit karala iwarai,මම article එක edit කරලා ඉවරයි
+273,code_mixed,oya content eka check karala thiyenne,ඔයා content එක check කරලා තියෙන්නේ
+274,code_mixed,mama keyword eka search kala godak,මම keyword එක search කළා ගොඩක්
+275,code_mixed,oya tag eka add karala thiyenne,ඔයා tag එක add කරලා තියෙන්නේ
+276,code_mixed,mama category eka change kala dan,මම category එක change කළා දැන්
+277,code_mixed,oya author name eka check karanna,ඔයා author name එක check කරන්න
+278,code_mixed,mama publish date eka check kala,මම publish date එක check කළා
+279,code_mixed,oya link status eka verify karanna,ඔයා link status එක verify කරන්න
+280,formal,mema pahasukam siyalu denatama podu we,මෙම පහසුකම් සියලු දෙනාටම පොදු වේ
+281,formal,karunakarala oba ge namaya sadahan karanna,කරුණාකරලා ඔබගේ නාමය සඳහන් කරන්න
+282,formal,oba ge upadeshaya apata godak wadagath,ඔබගේ උපදේශය අපට ගොඩක් වැදගත්
+283,formal,mema nivedanaya avadanayata ganna,මෙම නිවේදනය අවධානයට ගන්න
+284,formal,adyaapana depaarthamenthuwa mema thiranaya gaththa,අධ්‍යාපන දෙපාර්තමේන්තුව මෙම තීරණය ගත්තා
+285,formal,mema wadashatahana sadaha obaata aradhana karamu,මෙම වැඩසටහන සඳහා ඔබට ආරාධනා කරමු
+286,formal,oba ge upakaaraya sadaha sthuthiwantha wemu,ඔබගේ උපකාරය සඳහා ස්තූතිවන්ත වෙමු
+287,formal,rajaye nivedanaya anuwa kriya karanna,රජයේ නිවේදනය අනුව ක්‍රියා කරන්න
+288,formal,oba ge arayaachanaya salaka balanu labe,ඔබගේ අයදුම්පත සලකා බලනු ලැබේ
+289,formal,mema karuna piliyela karana lada deyak,මෙම කරුණ පිළියෙළ කරන ලද දෙයක්
+290,formal,mema prashne gana pashchath vimarshanaya karanna,මෙම ප්‍රශ්නය ගැන පශ්චාත් විමර්ශනය කරන්න
+291,formal,oba ge sewaya apata agaya kala hakiya,ඔබගේ සේවය අපට අගය කළ හැකිය
+292,formal,vishwa vidyaalaye palaveni wasare shishyayan,විශ්ව විද්‍යාලයේ පළවෙනි වසරේ ශිෂ්‍යයන්
+293,formal,parishlana nivedanaya balanna karunakarala,පරිශීලන නිවේදනය බලන්න කරුණාකරලා
+294,formal,mema kriyavaliya hariyata kriyathmaka karanna,මෙම ක්‍රියාවලිය හරියට ක්‍රියාත්මක කරන්න
+295,formal,adala lekana pirihenu labe,අදාළ ලේඛන පිරිනමනු ලැබේ
+296,formal,oba ge sahayogaya apata athyawashya we,ඔබග��� සහයෝගය අපට අත්‍යවශ්‍ය වේ
+297,formal,mema sthanaye rakshawa thahawuru karanna,මෙම ස්ථානයේ රක්ෂාව තහවුරු කරන්න
+298,formal,paurshika thorathuru rakshitha we,පෞද්ගලික තොරතුරු රක්ෂිත වේ
+299,formal,mema kramaya anugamanaya karanna balanna,මෙම ක්‍රමය අනුගමනය කරන්න බලන්න
+300,formal,oba ge adahas idiripath karanna,ඔබගේ අදහස් ඉදිරිපත් කරන්න
+301,formal,mema pahasukama pavichchi karanna puluwan,මෙම පහසුකම පාවිච්චි කරන්න පුළුවන්
+302,formal,shishya kalyana sangamaya mema wada karai,ශිෂ්‍ය සුබසාධන සංගමය මෙම වැඩ කරයි
+303,formal,oba ge upatha saha thorathuru sadahan karanna,ඔබගේ උපත සහ තොරතුරු සඳහන් කරන්න
+304,formal,rajaye upadeshaya anuwa kriya karanna one,රජයේ උපදේශය අනුව ක්‍රියා කරන්න ඕනේ
+305,formal,adala niladhariyan wetha thorathuru ewanna,අදාළ නිලධාරීන් වෙත තොරතුරු එවන්න
+306,formal,mema kramaya sadaha anumathiya labuna,මෙම ක්‍රමය සඳහා අනුමතිය ලැබුණා
+307,formal,oba ge gatalu apata danyapat karanna,ඔබගේ ගැටලු අපට දන්වා එවන්න
+308,formal,mema parikshana prathipala keti kalayakin labe,මෙම පරීක්ෂණ ප්‍රතිඵල කෙටි කලයකින් ලැබේ
+309,formal,visheshitha karuna sadaha avadanaya yomu karanna,විශේෂිත කරුණු සඳහා අවධානය යොමු කරන්න
+310,formal,oba ge sahayogaya apata godak wadagath we,ඔබගේ සහයෝගය අපට ගොඩක් වැදගත් වේ
+311,formal,mema karyaya sapura iwara kala yuthuya,මෙම කාර්යය සපුරා ඉවර කළ යුතුය
+312,formal,oba ge lekana keti kalayakin labe,ඔබගේ ලේඛන කෙටි කලයකින් ලැබේ
+313,formal,mema sewaya sadaha ayabeerak aya nokere,මෙම සේවය සඳහා අය කිරීමක් අය නොකෙරේ
+314,formal,oba ge upadeshaya anuwa api kriya karamu,ඔබගේ උපදේශය අනුව අපි ක්‍රියා කරමු
+315,formal,mema thorathuru rahasya lesa thaba ganna,මෙම තොරතුරු රහස්‍ය ලෙස තබා ගන්න
+316,formal,oba ge parashna apata danyapat karanna balanna,ඔබගේ ප්‍රශ්න අපට දන්වා එවන්න බලන්න
+317,formal,mema kramavedaya hariyata kriyathmaka karanna,මෙම ක්‍රමවේදය හරියට ක්‍රියාත්මක කරන්න
+318,formal,oba ge sadaha vishesha sthuthiya pudakaramu,ඔබගේ සඳහා විශේෂ ස්තූතිය පුදකරමු
+319,formal,mema nivedanaya balapathmaka wanne heta sita,මෙම නිවේදනය බලපෑමක වන්නේ හෙට සිට
+320,formal,oba ge arayaachanaya thira karala iwarai,ඔබගේ අයදුම්පත තීරණය කරලා ඉවරයි
+321,formal,mema karyalaya pradhaniya visin anumatha kala,මෙම කාර්යාල ප්‍රධානියා විසින් අනුමත කළා
+322,formal,oba ge thorathuru rahasyathawa thahawuru karanu labe,ඔබගේ තොරතුරු රහස්‍යභාවය තහවුරු කරනු ලැබේ
+323,formal,mema wadashatahana udashanna kaledi thiyeyi,මෙම වැඩසටහන උදෑසන කාලයේදී තියෙයි
+324,formal,oba ge sabaawaya apata loku shakthiyak,ඔබගේ සහභාගීත්වය අපට ලොකු ශක්තියක්
+325,formal,mema lekanaya keti kalayakin labe,මෙම ලේඛනය කෙටි කලයකින් ලැබේ
+326,formal,oba ge adahas apata sadarayen piliyanamu,ඔබගේ අදහස් අපට සාදරයෙන් පිළිගනිමු
+327,formal,mema kriyawaliya sadaha oba ge sahayogaya one,මෙම ක්‍රියාවලිය සඳහා ඔබගේ සහයෝගය ඕනේ
+328,formal,oba ge karyaya sapura iwara kala yuthuya,ඔබගේ කාර්යය සපුරා ඉවර කළ යුතුය
+329,formal,mema thorathuru sadahan karanna karunakarala,මෙම තොරතුරු සඳහන් කරන්න කරුණාකරලා
+330,formal,oba ge sahayogaya apata nithara labuna,ඔබගේ සහයෝගය අපට නිතර ලැබුණා
+331,formal,mema prashne gana vishesha vimarshanayak karamu,මෙම ප්‍රශ්නය ගැන විශේෂ විමර්ශනයක් කරමු
+332,formal,oba ge sewaya apata sadahayen agaya karamu,ඔබගේ සේවය අපට සාදරයෙන් අගය කරමු
+333,formal,mema kramaya sadaha vishesha anumathiyak one,මෙම ක්‍රමය සඳහා විශේෂ අනුමතියක් ඕනේ
+334,formal,oba ge upakaaraya apata nithara labuna,ඔබගේ උපකාරය අපට නිතර ලැබුණා
+335,formal,mema karyaya sapura iwara kala hakiya,මෙම කාර්යය සපුරා ඉවර කළ හැකිය
+336,formal,oba ge thorathuru sadahan karala ewanna,ඔබගේ තොරතුරු සඳහන් කරලා එවන්න
+337,formal,mema nivedanaya balathmaka wanne ada sita,මෙම නිවේදනය බලපෑමක වන්නේ අද සිට
+338,formal,oba ge upadeshaya apata godak wadagath we,ඔබගේ උපදේශය අපට ගොඩක් වැදගත් වේ
+339,formal,mema kramavedaya anugamanaya karanna balanna,මෙම ක්‍රමවේදය අනුගමනය කරන්න බලන්න
+340,formal,oba ge sahayogaya apata athyawashya we dan,ඔබගේ සහයෝගය අපට අත්‍යවශ්‍ය වේ දැන්
+341,formal,mema kriyawaliya sadaha vishesha dushyakawaya one,මෙම ක්‍රියාවලිය සඳහා විශේෂ දෘශ්‍යතාවය ඕනේ
+342,formal,oba ge adahas apata sadarayen piliyanamu dan,ඔබගේ අදහස් අපට සාදරයෙන් පිළිගනිමු දැන්
+343,formal,mema thorathuru rahasya lesa thaba ganna balanna,මෙම තොරතුරු රහස්‍ය ලෙස තබා ගන්න බලන්න
+344,formal,oba ge sewaya apata nithara agaya karamu,ඔබගේ සේවය අපට නිතර අගය කරමු
+345,formal,mema karyaya sapura iwara kala hakiya dan,මෙම කාර්යය සපුරා ඉවර කළ හැකිය දැන්
+346,formal,oba ge thorathuru sadahan karala ewanna balanna,ඔබගේ තොරතුරු සඳහන් කරලා එවන්න බලන්න
+347,formal,mema nivedanaya balathmaka wanne heta sita dan,මෙම නිවේදනය බලපෑමක වන්නේ හෙට සිට දැන්
+348,formal,oba ge upadeshaya apata godak wadagath we ada,ඔබගේ උපදේශය අපට ගොඩක් වැදගත් වේ අද
+349,formal,mema kramavedaya anugamanaya karanna balanna ada,මෙම ක්‍රමවේදය අනුගමනය කරන්න බලන්න අද
+350,formal,oba ge sahayogaya apata athyawashya we heta sita,ඔබගේ සහයෝගය අපට අත්‍යවශ්‍ය වේ හෙට සිට
+351,formal,mema kriyawaliya sadaha vishesha dushyakawaya one ada,මෙම ක්‍රියාවලිය සඳහා විශේෂ දෘශ්‍යතාවය ඕනේ අද
+352,formal,oba ge adahas apata sadarayen piliyanamu heta sita,ඔබගේ අදහස් අපට සාදරයෙන් පිළිගනිමු හෙට සිට
+353,formal,mema thorathuru rahasya lesa thaba ganna balanna ada,මෙම තොරතුරු රහස්‍ය ලෙස තබා ගන්න බලන්න අද
+354,formal,oba ge sewaya apata nithara agaya karamu dan,ඔබගේ සේවය අපට නිතර අගය කරමු දැන්
+355,formal,mema karyaya sapura iwara kala hakiya heta sita,මෙම කාර්යය සපුරා ඉවර කළ හැකිය හෙට සිට
+356,formal,oba ge thorathuru sadahan karala ewanna balanna dan,ඔබගේ තොරතුරු සඳහන් කරලා එවන්න බලන්න දැන්
+357,formal,mema nivedanaya balathmaka wanne ada sita danma,මෙම නිවේදනය බලපෑමක වන්නේ අද සිට දැන්ම
+358,formal,oba ge upadeshaya apata godak wadagath we heta,ඔබගේ උපදේශය අපට ගොඩක් වැදගත් වේ හෙට
+359,formal,mema kramavedaya anugamanaya karanna balanna heta sita,මෙම ක්‍රමවේදය අනුගමනය කරන්න බලන්න හෙට සිට
+360,formal,oba ge sahayogaya apata athyawashya we ada sitama,ඔබගේ සහයෝගය අපට අත්‍යවශ්‍ය වේ අද සිටම
+361,formal,mema kriyawaliya sadaha vishesha dushyakawaya one heta,මෙම ක්‍රියාවලිය සඳහා විශේෂ දෘශ්‍යතාවය ඕනේ හෙට
+362,formal,oba ge adahas apata sadarayen piliyanamu ada sitama,ඔබගේ අදහස් අපට සාදරයෙන් පිළිගනිමු අද සිටම
+363,formal,mema thorathuru rahasya lesa thaba ganna balanna heta,මෙම තොරතුරු රහස්‍ය ලෙස තබා ගන්න බලන්න හෙට
+364,formal,oba ge sewaya apata nithara agaya karamu ada,ඔබගේ සේවය අපට නිතර අගය කරමු අද
+365,formal,mema karyaya sapura iwara kala hakiya ada sitama,මෙම කාර්යය සපුරා ඉවර කළ හැකිය අද සිටම
+366,formal,oba ge thorathuru sadahan karala ewanna balanna heta,ඔබගේ තොරතුරු සඳහන් කරලා එවන්න බලන්න හෙට
+367,formal,mema nivedanaya balathmaka wanne heta sita danma,මෙම නිවේදනය බලපෑමක වන්නේ හෙට සිට දැන්ම
+368,formal,oba ge upadeshaya apata godak wadagath we ada sitama,ඔබගේ උපදේශය අපට ගොඩක් වැදගත් වේ අද සිටම
+369,formal,mema kramavedaya anugamanaya karanna balanna ada sitama,මෙම ක්‍රමවේදය අනුගමනය කරන්න බලන්න අද සිටම
+370,formal,oba ge sahayogaya apata athyawashya we heta sitama,ඔබගේ සහයෝගය අපට අත්‍යවශ්‍ය වේ හෙට සිටම
+371,formal,mema kriyawaliya sadaha vishesha dushyakawaya one ada sitama,මෙම ක්‍රියාවලිය සඳහා විශේෂ දෘශ්‍යතාවය ඕනේ අද සිටම
+372,formal,oba ge adahas apata sadarayen piliyanamu heta sitama,ඔබගේ අදහස් අපට සාදරයෙන් පිළිගනිමු හෙට සිටම
+373,formal,mema thorathuru rahasya lesa thaba ganna balanna ada sitama,මෙම තොරතුරු රහස්‍ය ලෙස තබා ගන්න බලන්න අද සිටම
+374,formal,oba ge sewaya apata nithara agaya karamu heta sitama,ඔබගේ සේවය අපට නිතර අගය කරමු හෙට සිටම
+375,formal,mema karyaya sapura iwara kala hakiya heta sitama,මෙම කාර්යය සපුරා ඉවර කළ හැකිය හෙට සිටම
+376,formal,oba ge thorathuru sadahan karala ewanna balanna ada sitama,ඔබගේ තොරතුරු සඳහන් කරලා එවන්න බලන්න අද සිටම
+377,formal,mema nivedanaya balathmaka wanne ada sitama thawa duratath,මෙම නිවේදනය බලපෑමක වන්නේ අද සිටම තවදුරටත්
+378,formal,oba ge upadeshaya apata godak wadagath we thawa duratath,ඔබගේ උපදේශය අපට ගොඩක් වැදගත් වේ තවදුරටත්
+379,long_sentence,ada ude gedara indan campus ekata yaddi mara traffic ekak thibba,අද උදේ ගෙදර ඉඳන් campus එකට යද්දී මාර traffic එකක් තිබ්බා
+380,long_sentence,mama hithanne na ada campus eke lecture eka thiyeyi kiyala,මම හිතන්නේ නෑ අද campus එකේ lecture එක තියෙයි කියලා
+381,long_sentence,oya heta ude kiyatada train yanna balan inne kiyanna balanna,ඔයා හෙට උදේ කීයටද train යන්න බලන් ඉන්නේ කියන්න බලන්න
+382,long_sentence,mata ada hawasa library ekata gihin poth tikak ganna one wenawa,මට අද හවස library එකට ගිහින් පොත් ටිකක් ගන්න ඕනේ වෙනවා
+383,long_sentence,api heta canteen ekedi hamuwela presentation eka gana katha karamu neda,අපි හෙට canteen එකේදී හමුවෙලා presentation එක ගැන කතා කරමු නේද
+384,long_sentence,oya ada ude kaama haduwe monawada kiyala mata thawa tika welawakin ewanna,ඔයා අද උදේ කෑම හැදුවේ මොනවාද කියලා මට තව ටික වෙලාවකින් එවන්න
+385,long_sentence,mata ada ude indan mara widihata oluwe kakumak thiyenawa kiyala therenawa,මට අද උදේ ඉඳන් මාර විදිහට ඔළුවේ කැක්කුමක් තියෙනවා කියලා තේරෙනවා
+386,long_sentence,oya heta kade yaddi mata thawa tika welawakin call ekak ganna puluwanda,ඔයා හෙට කඩේ යද්දී මට තව ටික වෙලාවකින් call එකක් ගන්න පුළුවන්ද
+387,long_sentence,api heta gihilla ammata ona karana badu tika aran emu neda,අපි හෙට ගිහිල්ලා අම්මට ඕන කරන බඩු ටික අරන් එමු නේද
+388,long_sentence,mama hithanne ada wasinna puluwan kiyala nikan dakkama nam ehemayi penne,මම හිතන්නේ අද වහින්න පුළුවන් කියලා නිකන් දැක්කම නම් එහෙමයි පේන්නේ
+389,long_sentence,oya ada kade giye na neda mama hithuwe oya yeyi kiyala,ඔයා අද කඩේ ගියේ නෑ නේද මම හිතුවේ ඔයා යයි කියලා
+390,long_sentence,mata ada ude indan kisima wada karanna tharam hitha sanasillak na dan,මට අද උදේ ඉඳන් කිසිම වැඩ කරන්න තරම් හිත සැනසිල්ලක් නෑ දැන���
+391,long_sentence,api heta ude canteen ekedi hamuwela ape project report eka hadamu balanna,අපි හෙට උදේ canteen එකේදී හමුවෙලා අපේ project report එක හදමු බලන්න
+392,long_sentence,oya ada ude kiyatada campus ekata giye kiyala mata kiyanna puluwanda dan,ඔයා අද උදේ කීයටද campus එකට ගියේ කියලා මට කියන්න පුළුවන්ද දැන්
+393,long_sentence,mata ada raata kaama hadanna kisima widihakata mahansi wenna hithenne na thama,මට අද රෑට කෑම හදන්න කිසිම විදිහකට මහන්සි වෙන්න හිතෙන්නේ නෑ තාම
+394,long_sentence,api heta yaddi nangiwa school ekata dammaoth hondai kiyala mama hithanawa,අපි හෙට යද්දී නංගිව school එකට දැම්මොත් හොඳයි කියලා මම හිතනවා
+395,long_sentence,oya ada kade gihilla mata ona karana badu tika aran awada balanna,ඔයා අද කඩේ ගිහිල්ලා මට ඕන කරන බඩු ටික අරන් ආවාද බලන්න
+396,long_sentence,mama hithanne me parashne nam wisadanna godak kalayak yayi kiyala thama hithenne,මම හිතන්නේ මේ ප්‍රශ්නය නම් විසඳන්න ගොඩක් කාලයක් යයි කියලා තාම හිතෙන්නේ
+397,long_sentence,oya ada ude canteen ekedi kauruwath dakke nadda kiyala mata kiyanna puluwanda,ඔයා අද උදේ canteen එකේදී කාවවත් දැක්කේ නැද්ද කියලා මට කියන්න පුළුවන්ද
+398,long_sentence,api heta presentation eka karanna kalin presentation notes tika kiyawala balanna one neda,අපි හෙට presentation එක කරන්න කලින් presentation notes ටික කියවලා බලන්න ඕනේ නේද
+399,long_sentence,mata ada ude indan kisima deyak therenne na wage dan hariyata mahansiyi,මට අද උදේ ඉඳන් කිසිම දෙයක් තේරෙන්නේ නෑ වගේ දැන් හරියට මහන්සියි
+400,long_sentence,oya heta kade yaddi thawa tika welawakin call ekak deela badu tika kiyanna,ඔයා හෙට කඩේ යද්දී තව ටික වෙලාවකින් call එකක් දීලා බඩු ටික කියන්න
+401,long_sentence,api heta gihilla ammata badu tika aran thawa tika welawakin emu neda,අපි හෙට ගිහිල්ලා අම්මට බඩු ටික අරන් තව ටික වෙලාවකින් එමු නේද
+402,long_sentence,mama hithanne me para nam results mara widihata parakku wenna puluwan kiyala,මම හිතන්නේ මේ පාර නම් results මාර විදිහට පරක්කු වෙන්න පුළුවන් කියලා
+403,long_sentence,oya ada kade giyoth mata thawa tika welawakin ewanna puluwanda badu tika dan,ඔයා අද කඩේ ගියොත් මට තව ටික වෙලාවකින් එවන්න පුළුවන්ද බඩු ටික දැන්
+404,long_sentence,mata ada ude indan kisima wada karanna hitha denne na mara widihata kamaliy,මට අද උදේ ඉඳන් කිසිම වැඩ කරන්න හිත දෙන්නේ නෑ මාර විදිහට කම්මැලියි
+405,long_sentence,api heta canteen ekedi hamuwela presentation eka thawa tika welawakin ready karamu neda,අපි හෙට canteen එකේදී හමුවෙලා presentation එක තව ටික වෙලාවකින් ready කරමු නේද
+406,long_sentence,oya ada ude kiyatada campus ekata giye kiyala kiyanna puluwanda mata thawa tika welawakin,ඔයා අද උදේ කීයටද campus එකට ගියේ කියලා කියන්න පුළුවන්ද මට තව ටික වෙලාවකින්
+407,long_sentence,mata ada raata kaama hadanna hithenne na thawa tika welawakin kade yamu balanna,මට අද රෑට කෑම හදන්න හිතෙන්නේ නෑ තව ටික වෙලාවකින් කඩේ යමු බලන්න
+408,long_sentence,api heta yaddi nangiwa school ekata dammaoth hondai neda thawa tika welawakin,අපි හෙට යද්දී නංගිව school එකට දැම්මොත් හොඳයි නේද තව ටික වෙලාවකින්
+409,long_sentence,oya ada kade gihilla mata badu tika aran awada kiyala thawa tika welawakin kiyanna,ඔයා අද කඩේ ගිහිල්ලා මට බඩු ටික අරන් ආවාද කියලා තව ටික වෙලාවකින් කියන්න
+410,long_sentence,mama hithanne me parashne thawa tika welawakin wisadanna puluwan kiyala thama hithenne mata,මම හිතන්නේ මේ ප්‍ර��්නය තව ටික වෙලාවකින් විසඳන්න පුළුවන් කියලා තාම හිතෙන්නේ මට
+411,long_sentence,oya ada ude canteen ekedi kauruwath dakke nadda kiyala mata thawa tika welawakin kiyanna,ඔයා අද උදේ canteen එකේදී කාවවත් දැක්කේ නැද්ද කියලා මට තව ටික වෙලාවකින් කියන්න
+412,long_sentence,api heta presentation notes tika kiyawala thawa tika welawakin presentation eka ready karamu balanna,අපි හෙට presentation notes ටික කියවලා තව ටික වෙලාවකින් presentation එක ready කරමු බලන්න
+413,long_sentence,mata ada ude indan kisima deyak therenne na dan mara widihata mahansi wela thiyenne,මට අද උදේ ඉඳන් කිසිම දෙයක් තේරෙන්නේ නෑ දැන් මාර විදිහට මහන්සි වෙලා තියෙන්නේ
+414,long_sentence,oya heta kade yaddi call ekak deela badu tika mata thawa tika welawakin kiyanna,ඔයා හෙට කඩේ යද්දී call එකක් දීලා බඩු ටික මට තව ටික වෙලාවකින් කියන්න
+415,long_sentence,api heta gihilla badu tika aran thawa tika welawakin emu neda ada raata,අපි හෙට ගිහිල්ලා බඩු ටික අරන් තව ටික වෙලාවකින් එමු නේද අද රෑට
+416,long_sentence,mama hithanne results thawa tika welawakin online balanna puluwan kiyala thama dan hithenne,මම හිතන්නේ results තව ටික වෙලාවකින් online බලන්න පුළුවන් කියලා තාම දැන් හිතෙන්නේ
+417,long_sentence,oya ada kade giyoth badu tika mata thawa tika welawakin ewanna puluwanda danma,ඔයා අද කඩේ ගියොත් බඩු ටික මට තව ටික වෙලාවකින් එවන්න පුළුවන්ද දැන්ම
+418,long_sentence,mata ada ude indan wada karanna hitha denne na mara widihata kamaliy ada nam,මට අද උදේ ඉඳන් වැඩ කරන්න හිත දෙන්නේ නෑ මාර විදිහට කම්මැලියි අද නම්
+419,long_sentence,api heta canteen ekedi presentation eka thawa tika welawakin ready karamu neda api dennama,අපි හෙට canteen එකේදී presentation එක තව ටික වෙලාවකින් ready කරමු නේද අපි දෙන්නම
+420,long_sentence,oya ada ude campus ekata giye kiyatada kiyala kiyanna thawa tika welawakin mata balanna,ඔයා අද උදේ campus එකට ගියේ කීයටද කියලා කියන්න තව ටික වෙලාවකින් මට බලන්න
+421,long_sentence,mata ada raata kaama hadanna hithenne na kade yamu balanna thawa tika welawakin api,මට අද රෑට කෑම හදන්න හිතෙන්නේ නෑ කඩේ යමු බලන්න තව ටික වෙලාවකින් අපි
+422,long_sentence,api heta yaddi nangiwa school ekata dammaoth hondai kiyala mama hithanawa thawa duratath,අපි හෙට යද්දී නංගිව school එකට දැම්මොත් හොඳයි කියලා මම හිතනවා තවදුරටත්
+423,long_sentence,oya ada kade gihilla badu tika aran awada kiyala thawa tika welawakin mata kiyanna,ඔයා අද කඩේ ගිහිල්ලා බඩු ටික අරන් ආවාද කියලා තව ටික වෙලාවකින් මට කියන්න
+424,long_sentence,mama hithanne parashne thawa tika welawakin wisadanna puluwan kiyala thama hithenne mata dan,මම හිතන්නේ ප්‍රශ්නය තව ටික වෙලාවකින් විසඳන්න පුළුවන් කියලා තාම හිතෙන්නේ මට දැන්
+425,long_sentence,oya ada ude canteen ekedi kauruwath dakke nadda kiyala thawa tika welawakin mata kiyanna,ඔයා අද උදේ canteen එකේදී කාවවත් දැක්කේ නැද්ද කියලා තව ටික වෙලාවකින් මට කියන්න
+426,long_sentence,api presentation notes tika kiyawala thawa tika welawakin presentation eka ready karamu balanna heta,අපි presentation notes ටික කියවලා තව ටික වෙලාවකින් presentation එක ready කරමු බලන්න හෙට
+427,long_sentence,mata ada ude indan therenne na mara widihata mahansi wela thiyenne thawa duratath dan,මට අද උදේ ඉඳන් තේරෙන්නේ නෑ මාර විදිහට මහන්සි වෙලා තියෙන්නේ තවදුරටත් දැන්
+428,long_sentence,oya heta kade yaddi call ekak deela badu tika mata thawa tika welawakin kiyanna balanna,ඔයා හෙට කඩේ යද්දී call එකක් දීලා බඩු ටික මට තව ටික වෙලාවකින් කියන්න බලන්න
+429,long_sentence,api gihilla badu tika aran thawa tika welawakin emu neda ada raata hamoma,අපි ගිහිල්ලා බඩු ටික අරන් තව ටික වෙලාවකින් එමු නේද අද රෑට හැමෝම
+430,long_sentence,mama hithanne results thawa tika welawakin online balanna puluwan kiyala thama hithenne mata ada,මම හිතන්නේ results තව ටික වෙලාවකින් online බලන්න පුළුවන් කියලා තාම හිතෙන්නේ මට අද
+431,long_sentence,oya kade giyoth badu tika mata thawa tika welawakin ewanna puluwanda danma balanna oya,ඔයා කඩේ ගියොත් බඩු ටික මට තව ටික වෙලාවකින් එවන්න පුළුවන්ද දැන්ම බලන්න ඔයා
+432,long_sentence,mata ude indan wada karanna hitha denne na mara widihata kamaliy ada nam thawa duratath,මට උදේ ඉඳන් වැඩ කරන්න හිත දෙන්නේ නෑ මාර විදිහට කම්මැලියි අද නම් තවදුරටත්
+433,long_sentence,api canteen ekedi presentation eka thawa tika welawakin ready karamu neda api dennama hamoma,අපි canteen එකේදී presentation එක තව ටික වෙලාවකින් ready කරමු නේද අපි දෙන්නම හැමෝම
+434,long_sentence,oya campus ekata giye kiyatada kiyala kiyanna thawa tika welawakin mata balanna ada ude,ඔයා campus එකට ගියේ කීයටද කියලා කියන්න තව ටික වෙලාවකින් මට බලන්න අද උදේ
+435,long_sentence,mata kaama hadanna hithenne na kade yamu balanna thawa tika welawakin api heta udema,මට කෑම හදන්න හිතෙන්නේ නෑ කඩේ යමු බලන්න තව ටික වෙලාවකින් අපි හෙට උදේම
+436,long_sentence,api yaddi nangiwa school ekata dammaoth hondai kiyala mama hithanawa thawa duratath heta,අපි යද්දී නංගිව school එකට දැම්මොත් හොඳයි කියලා මම හිතනවා තවදුරටත් හෙට
+437,long_sentence,oya kade gihilla badu tika aran awada kiyala thawa tika welawakin mata kiyanna balanna,ඔයා කඩේ ගිහිල්ලා බඩු ටික අරන් ආවාද කියලා තව ටික වෙලාවකින් මට කියන්න බලන්න
+438,long_sentence,mama hithanne meka thawa tika welawakin wisadanna puluwan kiyala thama hithenne mata dan meka,මම හිතන්නේ මේක තව ටික වෙලාවකින් විසඳන්න පුළුවන් කියලා තාම හිතෙන්නේ මට දැන් මේක
+439,long_sentence,oya canteen ekedi kauruwath dakke nadda kiyala thawa tika welawakin mata kiyanna balanna heta,ඔයා canteen එකේදී කාවවත් දැක්කේ නැද්ද කියලා තව ටික වෙලාවකින් මට කියන්න බලන්න හෙට
+440,long_sentence,api presentation eka ready karamu balanna heta ude canteen ekedi hamuwela api dennama meka,අපි presentation එක ready කරමු බලන්න හෙට උදේ canteen එකේදී හමුවෙලා අපි දෙන්නම මේක
+441,long_sentence,mata therenne na mara widihata mahansi wela thiyenne thawa duratath dan mata nam meka,මට තේරෙන්නේ නෑ මාර විදිහට මහන්සි වෙලා තියෙන්නේ තවදුරටත් දැන් මට නම් මේක
+442,long_sentence,oya call ekak deela badu tika mata thawa tika welawakin kiyanna balanna heta kade yaddi,ඔයා call එකක් දීලා බඩු ටික මට තව ටික වෙලාවකින් කියන්න බලන්න හෙට කඩේ යද්දී
+443,long_sentence,api badu tika aran thawa tika welawakin emu neda ada raata hamoma nuwara gihilla,අපි බඩු ටික අරන් තව ටික වෙලාවකින් එමු නේද අද රෑට හැමෝම නුවර ගිහිල්ලා
+444,long_sentence,mama hithanne results online balanna puluwan kiyala thama hithenne mata ada thawa tika welawakin,මම හිතන්නේ results online බලන්න පුළුවන් කියලා තාම හිතෙන්නේ මට අද තව ටික වෙලාවකින්
+445,long_sentence,oya badu tika mata thawa tika welawakin ewanna puluwanda danma balanna kade giyoth oya,ඔයා බඩු ටික මට තව ටික වෙලාවකින් එවන්න පුළුවන්ද දැන්ම බලන්න කඩේ ගියොත් ඔයා
+446,long_sentence,mata wada karanna hitha denne na mara widihata kamaliy ada nam thawa duratath ude indan,මට වැඩ කරන්න හිත දෙන්නේ නෑ මාර විදිහට කම්මැලියි අද නම් තවදුරටත් උදේ ඉඳන්
+447,long_sentence,api presentation eka thawa tika welawakin ready karamu neda canteen ekedi hamuwela api dennama ada,අපි presentation එක තව ටික වෙලාවකින් ready කරමු නේද canteen එකේදී හමුවෙලා අපි දෙන්නම අද
+448,long_sentence,oya kiyatada giye kiyala kiyanna thawa tika welawakin mata balanna ada ude campus ekata,ඔයා කීයටද ගියේ කියලා කියන්න තව ටික වෙලාවකින් මට බලන්න අද උදේ campus එකට
+449,long_sentence,mata kaama hadanna hithenne na kade yamu balanna thawa tika welawakin api heta raata,මට කෑම හදන්න හිතෙන්නේ නෑ කඩේ යමු බලන්න තව ටික වෙලාවකින් අපි හෙට රෑට
+450,long_sentence,api nangiwa school ekata dammoth hondai kiyala mama hithanawa,අපි නංගිව school එකට දැම්මොත් හොඳයි කියලා මම හිතනවා
+451,long_sentence,oya badu tika aran awada kiyala thawa tika welawakin mata kiyanna balanna kade gihilla,ඔයා බඩු ටික අරන් ආවාද කියලා තව ටික වෙලාවකින් මට කියන්න බලන්න කඩේ ගිහිල්ලා
+452,long_sentence,mama hithanne thawa tika welawakin wisadanna puluwan kiyala thama hithenne mata dan me parashnaya,මම හිතන්නේ තව ටික වෙලාවකින් විසඳන්න පුළුවන් කියලා තාම හිතෙන්නේ මට දැන් මේ ප්‍රශ්නය
+453,short_phrase,honda naa,හොඳ නෑ
+454,short_phrase,kohomada oya,කොහොමද ඔයා
+455,short_phrase,kiyatada enne,කීයටද එන්නේ
+456,short_phrase,me kohedo,මේ කොහේද
+457,short_phrase,dan yamu,දැන් යමු
+458,short_phrase,epa epa,එපා එපා
+459,short_phrase,poddak inna,පොඩ්ඩක් ඉන්න
+460,short_phrase,kauda inne,කවුද ඉන්නේ
+461,short_phrase,moko une,මොකෝ වුණේ
+462,short_phrase,hari hari,හරි හරි
+463,short_phrase,kiyanna balanna,කියන්න බලන්න
+464,short_phrase,thawa tika welawakin,තව ටික වෙලාවකින්
+465,short_phrase,kohedu giye,කොහේද ගියේ
+466,short_phrase,kaama kawaada,කෑම කෑවාද
+467,short_phrase,ninda giye na,නින්ද ගියේ නෑ
+468,short_phrase,moko karanne,මොකෝ කරන්නේ
+469,short_phrase,api yamu,අපි යමු
+470,short_phrase,mata epa,මට එපා
+471,short_phrase,badagini wela,බඩගිනි වෙලා
+472,short_phrase,wahinna wage,වහින්න වගේ
+473,short_phrase,heta ennam,හෙට එන්නම්
+474,short_phrase,parakku wenawa,පරක්කු වෙනවා
+475,short_phrase,kohe inne,කොහේ ඉන්නේ
+476,short_phrase,mokakda e,මොකක්ද ඒ
+477,short_phrase,dan enna,දැන් එන්න
+478,short_phrase,kisima deyak na,කිසිම දෙයක් නෑ
+479,short_phrase,sathutuwen inna,සතුටුවෙන් ඉන්න
+480,short_phrase,aththada ehemada,ඇත්තද එහෙමද
+481,short_phrase,kiyanna puluwanda,කියන්න පුළුවන්ද
+482,edge_case,api 1st floor ekata yamu,අපි 1st floor එකට යමු
+483,edge_case,oya 5000k denawada mata,ඔයා 5000ක් දෙනවාද මට
+484,edge_case,wada karanne na???,වැඩ කරන්නේ නෑ???
+485,edge_case,bye bye heta hamuwemu,bye bye හෙට හමුවෙමු
+486,edge_case,mama 10.30ta nuwara yanawa,මම 10.30ට නුවර යනවා
+487,edge_case,oya kiyatada 2nd lecture ekata enne,ඔයා කීයටද 2nd lecture එකට එන්නේ
+488,edge_case,mama 100%k sure kiyala kiyanna,මම 100%ක් sure කියලා කියන්න
+489,edge_case,me moko me... moko une,මේ මොකෝ මේ... මොකෝ වුණේ
+490,edge_case,oya results 1st rank ekatama gaththa,ඔයා results 1st rank එකටම ගත්තා
+491,edge_case,mata 500/- k denna puluwanda dan,මට 500/- ක් දෙන්න පුළුවන්ද දැන්
+492,edge_case,oya me wada 2-3 parak kala neda,ඔයා මේ වැඩ 2-3 පාරක් කළා නේද
+493,edge_case,mama 9.00 a.m. wenakan balan hitiya,මම 9.00 a.m. වෙනකන් බලන් හිටියා
+494,edge_case,"oya presentation eka ""ready"" neda balanna","ඔයා presentation එක ""ready"" නේද බලන්න"
+495,edge_case,mama message 10k damma thama awe na,මම message 10ක් දැම්මා තාම ආවේ නෑ
+496,edge_case,api 3.30 p.m. meeting eka cancel karamu,අපි 3.30 p.m. meeting එක cancel කරමු
+497,edge_case,oya wada 100%k complete karala iwarada,ඔයා වැඩ 100%ක් complete කරලා ඉවරද
+498,edge_case,mm 1st attempt ekenma pass una,මම 1st attempt එකෙන්ම pass වුණා
+499,edge_case,me moko me??? bayawela neda???,මේ මොකෝ මේ??? බයවෙලා නේද???
+500,edge_case,api 5 dena passe welawaka katha karamu,අපි 5 දෙනා පස්සේ වෙලාවක කතා කරමු

misc/quick_eval.py

@@ -0,0 +1,139 @@
+#!/usr/bin/env python3
+"""Quick evaluation of ByT5 on Indo NLP test sets - simplified version."""
+
+import sys
+from pathlib import Path
+
+project_root = Path(__file__).parent.parent
+sys.path.insert(0, str(project_root))
+
+import torch
+import pandas as pd
+
+from core.decoder import BeamSearchDecoder
+
+def load_test_set(filepath, max_samples=None):
+    """Load Indo NLP test set (pairs of lines: Singlish, Sinhala)."""
+    samples = []
+    with open(filepath, 'r', encoding='utf-8') as f:
+        lines = [line.strip() for line in f.readlines() if line.strip()]
+    
+    for i in range(0, len(lines), 2):
+        if i + 1 < len(lines):
+            samples.append({
+                'singlish': lines[i],
+                'expected': lines[i + 1]
+            })
+            if max_samples and len(samples) >= max_samples:
+                break
+    return samples
+
+def compute_metrics(predicted, expected):
+    """Compute CER, WER, BLEU, EM."""
+    from difflib import SequenceMatcher
+    
+    # CER (Character Error Rate)
+    matcher_char = SequenceMatcher(None, predicted, expected)
+    cer = 1.0 - matcher_char.ratio() if expected else (1.0 if predicted else 0.0)
+    
+    # WER (Word Error Rate)
+    pred_words = predicted.split()
+    exp_words = expected.split()
+    matcher_word = SequenceMatcher(None, pred_words, exp_words)
+    wer = 1.0 - matcher_word.ratio() if exp_words else (1.0 if pred_words else 0.0)
+    
+    # BLEU (simple unigram overlap)
+    if exp_words:
+        matches = sum(1 for t in pred_words if t in exp_words)
+        bleu = matches / len(exp_words)
+    else:
+        bleu = 1.0 if not pred_words else 0.0
+    
+    # EM (Exact Match)
+    em = 1 if predicted == expected else 0
+    
+    return {'cer': cer, 'wer': wer, 'bleu': bleu, 'em': em}
+
+def main():
+    device = "cuda" if torch.cuda.is_available() else "cpu"
+    print(f"Device: {device}\n")
+    
+    # Parse command line
+    max_samples = int(sys.argv[1]) if len(sys.argv) > 1 else 5
+    
+    print(f"Loading BeamSearchDecoder...")
+    decoder = BeamSearchDecoder(device=device)
+    print(f"Decoder loaded!\n")
+    
+    # Load test sets
+    test_dir = Path("IndoNLP-2025-Shared-Task/Test Dataset/Sinhala")
+    
+    print(f"Loading test sets (max {max_samples} samples each)...")
+    formal_samples = load_test_set(test_dir / "Sinhala Test set 1.txt", max_samples=max_samples)
+    informal_samples = load_test_set(test_dir / "Sinhala Test set 2.txt", max_samples=max_samples)
+    print(f"Formal: {len(formal_samples)}, Informal: {len(informal_samples)}\n")
+    
+    all_results = []
+    
+    # Evaluate formal
+    print("="*60)
+    print(f"FORMAL SUBSET ({len(formal_samples)} samples)")
+    print("="*60)
+    
+    formal_results = []
+    for idx, sample in enumerate(formal_samples):
+        try:
+            predicted, _, _ = decoder.decode(sample['singlish'])
+            metrics = compute_metrics(predicted, sample['expected'])
+            result = {**sample, 'predicted': predicted, 'subset': 'formal', **metrics}
+            formal_results.append(result)
+            all_results.append(result)
+            print(f"{idx+1}/{len(formal_samples)}: EM={metrics['em']} CER={metrics['cer']:.3f} WER={metrics['wer']:.3f}")
+        except Exception as e:
+            print(f"{idx+1}/{len(formal_samples)}: ERROR - {e}")
+            result = {**sample, 'predicted': '[ERROR]', 'subset': 'formal', 'cer': 1.0, 'wer': 1.0, 'bleu': 0.0, 'em': 0}
+            formal_results.append(result)
+            all_results.append(result)
+    
+    # Evaluate informal
+    print("\n" + "="*60)
+    print(f"INFORMAL SUBSET ({len(informal_samples)} samples)")
+    print("="*60)
+    
+    informal_results = []
+    for idx, sample in enumerate(informal_samples):
+        try:
+            predicted, _, _ = decoder.decode(sample['singlish'])
+            metrics = compute_metrics(predicted, sample['expected'])
+            result = {**sample, 'predicted': predicted, 'subset': 'informal', **metrics}
+            informal_results.append(result)
+            all_results.append(result)
+            print(f"{idx+1}/{len(informal_samples)}: EM={metrics['em']} CER={metrics['cer']:.3f} WER={metrics['wer']:.3f}")
+        except Exception as e:
+            print(f"{idx+1}/{len(informal_samples)}: ERROR - {e}")
+            result = {**sample, 'predicted': '[ERROR]', 'subset': 'informal', 'cer': 1.0, 'wer': 1.0, 'bleu': 0.0, 'em': 0}
+            informal_results.append(result)
+            all_results.append(result)
+    
+    # Summary
+    print("\n" + "="*60)
+    print("SUMMARY")
+    print("="*60)
+    
+    formal_df = pd.DataFrame(formal_results)
+    informal_df = pd.DataFrame(informal_results)
+    all_df = pd.DataFrame(all_results)
+    
+    for name, df in [("Formal", formal_df), ("Informal", informal_df), ("Overall", all_df)]:
+        print(f"\n{name} (n={len(df)}):")
+        print(f"  CER:  {df['cer'].mean():.4f} ± {df['cer'].std():.4f}")
+        print(f"  WER:  {df['wer'].mean():.4f} ± {df['wer'].std():.4f}")
+        print(f"  BLEU: {df['bleu'].mean():.4f} ± {df['bleu'].std():.4f}")
+        print(f"  EM:   {df['em'].mean():.4f} ({int(df['em'].sum())}/{len(df)})")
+    
+    # Save
+    all_df.to_csv("misc/quick_eval_results.csv", index=False)
+    print(f"\nResults saved to: misc/quick_eval_results.csv")
+
+if __name__ == "__main__":
+    main()

misc/quick_eval_results.csv

@@ -0,0 +1,11 @@
+singlish,expected,predicted,subset,cer,wer,bleu,em
+awankawama mata eya mathaka ethi akaraya eyayi namuth eya wikarayaki mama obata ashwaya kerehi wedi elmak nodakwana namuth eya mage wilasithawa nowe,අවංකවම මට එය මතක ඇති ආකාරය එයයි නමුත් එය විකාරයකි මම ඔබට අශ්වයා කෙරෙහි වැඩි ඇල්මක් නොදක්වන නමුත් එය මගේ විලාසිතාව නොවේ,අවංකවාම මට එය මතක ඇති ආකාරය එයයි නමුත් එය විකරයකි මම ඔබටා අශවය කෙරෙහි වැඩි ඇලීමක් නොදක්වාන නමුත් එය මගේ විලාසිතව නොවේ,formal,0.03829787234042559,0.31818181818181823,0.6818181818181818,0
+oba mage aneka yeyi adahas karanne kese ho oba ema wilasithawata andinne mandeyi mama asami,ඔබ මගේ අනෙකා යැයි අදහස් කරන්නේ කෙසේ හෝ ඔබ එම විලාසිතාවට අඳින්නේ මන්දැයි මම අසමි,ඔබ මගේ අණෙක යැයි අදහස් කරන්නේ කෙසේ හෝ ඔබ ඒම විලාසිතවට අඳින්නේ මන්දැයි මම අසමි,formal,0.038461538461538436,0.19999999999999996,0.8,0
+mama kiwa yuthuyi oba wedipura penenne obe mahalu athmayayi oba adahas karanne mage aneka bawayi,මම කිව යුතුයි ඔබ වැඩිපුර පෙනෙන්නේ ඔබේ මහලු ආත්මයයි ඔබ අදහස් කරන්නේ මගේ අනෙකා බවයි,මම කිව යුතුයි ඔබ වැඩිපුරා පෙනෙන්නේ ඔබේ ම ආතේමයයි ඔබ අදහස් කරන්නේ මගේ අනෙකා බවයි,formal,0.03749999999999998,0.19999999999999996,0.8,0
+kese ho oba ese andinne mandeyi mata eseemata ida etha mama shokayen sitina bawa pehedili yeyi mata sithiya yuthuwa thibuni,"කෙසේ හෝ ඔබ එසේ අඳින්නේ මන්දැයි මට ඇසීමට ඉඩ ඇත, මම ශෝකයෙන් සිටින බව පැහැදිලි යැයි මට සිතිය යුතුව තිබුණි",කෙසේ හෝ ඔබ එසේ අඳින්නේ මන්දැයි මට ඇසීමට ඉඩ ඇත මම ශෝකයෙන් සිටින බව පැහැදිලි යැයි මට සිතිය යුතුව තිබුණි,formal,0.0049261083743842304,0.050000000000000044,0.95,0
+mona hari adahas monada,මොනා හරි අදහස් මොනාද,මොන හරි අදහසේ මොනද,formal,0.10526315789473684,0.75,0.25,0
+mta eka prshnyk ahanna puluwn nm awulak ne,මට එක ප්‍රශ්නයක් අහන්න පුළුවන් නම් අවුලක් නෑ,මට එක ප්‍රශ්නයක අහන්න පුළුවන් නම් අවුලක් නෑ,informal,0.011494252873563204,0.125,0.875,0
+hondyi eka modyi wge,"හොඳයි, ඒක මෝඩයි වගේ",හොඳයි ඒක මෝඩයි වගේ,informal,0.027027027027026973,0.25,0.75,0
+kmk nehe modyi wge,කමක් නැහැ මෝඩයි වගේ,කමක් නැහැ මෝදයි වගේ,informal,0.052631578947368474,0.25,0.75,0
+kmk nehe oba eyta kemthi nownu etha,කමක් නැහැ ඔබ එයට කැමති නොවනු ඇත,කමක් නැහැ ඔබ එයට කැමති නොවනු ඇත,informal,0.0,0.0,1.0,1
+oba eyta kemthi nownu etha eya asanna,"ඔබ එයට කැමති නොවනු ඇත, එය අසන්න",ඔබ එයට කැමති නොවනු ඇත එය අසන්න,informal,0.016393442622950838,0.1428571428571429,0.8571428571428571,0

requirements.txt

@@ -4,3 +4,4 @@ sentencepiece
 datasets
 streamlit
 pandas
+requests

seq2seq/finetune_corrections.py

@@ -17,9 +17,11 @@ Run from the project root:
 
 from __future__ import annotations
 
+import argparse
 import random
 import sys
 from pathlib import Path
+from datetime import datetime
 
 ROOT = Path(__file__).parent.parent
 if str(ROOT) not in sys.path:
@@ -37,9 +39,11 @@ from transformers import (
 
 # ── Config ────────────────────────────────────────────────────────────────────
 
-MODEL_PATH   = ROOT / "seq2seq" / "byt5-singlish-sinhala" / "final"
 DATA_PATH    = ROOT / "seq2seq" / "wsd_pairs.csv"
-OUTPUT_DIR   = ROOT / "seq2seq" / "byt5-singlish-sinhala" / "final"   # overwrite in place
+# Clean base model downloaded from HF Hub — never fine-tuned directly.
+# Experiments always read from here and write to a timestamped subfolder.
+DEFAULT_MODEL_PATH = ROOT / "seq2seq" / "byt5-base-clean"
+EXPERIMENTS_ROOT = ROOT / "seq2seq" / "experiments" / "byt5-corrections"
 
 REPEAT       = 500       # how many times each correction pair is repeated
 BG_SAMPLES   = 50_000    # random background pairs from wsd_pairs.csv to prevent forgetting
@@ -207,17 +211,63 @@ def build_dataset(tokenizer) -> Dataset:
     return ds
 
 
+def parse_args() -> argparse.Namespace:
+    parser = argparse.ArgumentParser(
+        description="Fine-tune ByT5 corrections on an experiment copy (GPU-only)."
+    )
+    parser.add_argument(
+        "--model-path",
+        type=Path,
+        default=DEFAULT_MODEL_PATH,
+        help="Input model directory (experiment copy recommended).",
+    )
+    parser.add_argument(
+        "--output-dir",
+        type=Path,
+        default=None,
+        help="Output directory for this run. If omitted, a timestamped experiment folder is created.",
+    )
+    parser.add_argument(
+        "--allow-cpu",
+        action="store_true",
+        help="Allow CPU training (not recommended). By default training requires CUDA.",
+    )
+    return parser.parse_args()
+
+
 # ── Main ──────────────────────────────────────────────────────────────────────
 
 def main():
+    cli = parse_args()
+
     device = "cuda" if torch.cuda.is_available() else "cpu"
     print(f"\nDevice : {device}")
-    if device == "cpu":
-        print("WARNING: running on CPU — this will take ~30-60 min.")
+    if device != "cuda" and not cli.allow_cpu:
+        raise RuntimeError(
+            "CUDA GPU is required for fine-tuning. "
+            "No GPU was detected, so the run was stopped to avoid CPU slowdown. "
+            "If you really need CPU mode, run with --allow-cpu."
+        )
+
+    model_path = cli.model_path
+    if not model_path.exists():
+        raise FileNotFoundError(f"Model path not found: {model_path}")
+
+    if cli.output_dir is None:
+        run_name = datetime.now().strftime("run-%Y%m%d-%H%M%S")
+        output_dir = EXPERIMENTS_ROOT / run_name
+    else:
+        output_dir = cli.output_dir
+
+    output_dir.mkdir(parents=True, exist_ok=True)
 
-    print(f"Loading model from {MODEL_PATH} ...")
-    tokenizer = AutoTokenizer.from_pretrained(str(MODEL_PATH))
-    model     = AutoModelForSeq2SeqLM.from_pretrained(str(MODEL_PATH))
+    print(f"Loading model from {model_path} ...")
+    tokenizer = AutoTokenizer.from_pretrained(str(model_path))
+    model     = AutoModelForSeq2SeqLM.from_pretrained(str(model_path))
+    
+    # Explicitly move model to GPU
+    model = model.to(device)
+    print(f"Model moved to: {device}")
 
     print("\nBuilding correction dataset ...")
     ds = build_dataset(tokenizer)
@@ -230,7 +280,7 @@ def main():
     warmup = max(100, len(train_ds) // (BATCH_SIZE * 20))
 
     args = Seq2SeqTrainingArguments(
-        output_dir=str(OUTPUT_DIR),
+        output_dir=str(output_dir),
         num_train_epochs=EPOCHS,
         per_device_train_batch_size=BATCH_SIZE,
         per_device_eval_batch_size=BATCH_SIZE,
@@ -260,9 +310,9 @@ def main():
     print("\nStarting correction fine-tune ...")
     trainer.train()
 
-    print(f"\nSaving corrected model to {OUTPUT_DIR} ...")
-    model.save_pretrained(str(OUTPUT_DIR))
-    tokenizer.save_pretrained(str(OUTPUT_DIR))
+    print(f"\nSaving corrected model to {output_dir} ...")
+    model.save_pretrained(str(output_dir))
+    tokenizer.save_pretrained(str(output_dir))
     print("Done.")
 
 

seq2seq/prepare_experiment_model.py

@@ -0,0 +1,122 @@
+"""
+Prepare local clean model snapshots and experiment copies.
+
+Workflow:
+1) Download/save a clean Hugging Face model to a stable local path once.
+2) Create a copy of that clean local model for each experiment run.
+
+This prevents accidental overwrites of your base model and keeps
+fine-tuning runs isolated.
+
+Examples:
+    python seq2seq/prepare_experiment_model.py --model-id Kalana001/mbart50-large-singlish-sinhala
+    python seq2seq/prepare_experiment_model.py --model-id Kalana001/mbart50-large-singlish-sinhala --run-name exp-lr5e5
+"""
+
+from __future__ import annotations
+
+import argparse
+import shutil
+import sys
+from datetime import datetime
+from pathlib import Path
+
+import torch
+from transformers import AutoModelForSeq2SeqLM, AutoTokenizer
+
+ROOT = Path(__file__).parent.parent
+if str(ROOT) not in sys.path:
+    sys.path.insert(0, str(ROOT))
+
+from core.constants import DEFAULT_MBART_MODEL
+
+CLEAN_ROOT = ROOT / "seq2seq" / "clean_models"
+EXPERIMENT_ROOT = ROOT / "seq2seq" / "experiments"
+
+
+def parse_args() -> argparse.Namespace:
+    parser = argparse.ArgumentParser(
+        description="Download a clean model once and create an isolated experiment copy (GPU required)."
+    )
+    parser.add_argument(
+        "--model-id",
+        default=DEFAULT_MBART_MODEL,
+        help="Hugging Face model ID to prepare.",
+    )
+    parser.add_argument(
+        "--clean-dir",
+        type=Path,
+        default=None,
+        help="Optional custom clean-model directory.",
+    )
+    parser.add_argument(
+        "--run-name",
+        default=None,
+        help="Optional experiment run folder name. Defaults to timestamp.",
+    )
+    parser.add_argument(
+        "--force-refresh-clean",
+        action="store_true",
+        help="Re-download and overwrite the local clean model snapshot.",
+    )
+    parser.add_argument(
+        "--allow-cpu",
+        action="store_true",
+        help="Allow running without CUDA. Default is GPU-only to avoid workstation slowdown.",
+    )
+    return parser.parse_args()
+
+
+def safe_name(model_id: str) -> str:
+    return model_id.replace("/", "--")
+
+
+def main() -> None:
+    args = parse_args()
+
+    if not torch.cuda.is_available() and not args.allow_cpu:
+        raise RuntimeError(
+            "CUDA GPU is required by default. "
+            "No GPU detected. Use --allow-cpu only if you intentionally want CPU mode."
+        )
+
+    model_slug = safe_name(args.model_id)
+    clean_dir = args.clean_dir or (CLEAN_ROOT / model_slug)
+
+    if clean_dir.exists() and args.force_refresh_clean:
+        print(f"Removing existing clean model at: {clean_dir}")
+        shutil.rmtree(clean_dir)
+
+    if not clean_dir.exists():
+        print(f"Downloading clean model: {args.model_id}")
+        tokenizer = AutoTokenizer.from_pretrained(args.model_id)
+        model = AutoModelForSeq2SeqLM.from_pretrained(args.model_id)
+
+        clean_dir.mkdir(parents=True, exist_ok=True)
+        tokenizer.save_pretrained(clean_dir)
+        model.save_pretrained(clean_dir)
+        print(f"Saved clean model to: {clean_dir}")
+    else:
+        print(f"Using existing clean model: {clean_dir}")
+
+    run_name = args.run_name or datetime.now().strftime("run-%Y%m%d-%H%M%S")
+    exp_dir = EXPERIMENT_ROOT / model_slug / run_name
+    exp_model_dir = exp_dir / "model"
+
+    if exp_model_dir.exists():
+        raise FileExistsError(
+            f"Experiment model directory already exists: {exp_model_dir}. "
+            "Use a different --run-name."
+        )
+
+    exp_dir.mkdir(parents=True, exist_ok=True)
+    shutil.copytree(clean_dir, exp_model_dir)
+
+    print("\nExperiment ready")
+    print(f"  clean_model : {clean_dir}")
+    print(f"  experiment  : {exp_dir}")
+    print(f"  model_copy  : {exp_model_dir}")
+
+
+if __name__ == "__main__":
+    main()

seq2seq/train.py

@@ -76,11 +76,14 @@ def main():
 
     device = "cuda" if torch.cuda.is_available() else "cpu"
     print(f"  Device : {device}")
-    if device == "cuda":
-        print(f"  GPU    : {torch.cuda.get_device_name(0)}")
-        print(f"  VRAM   : {torch.cuda.get_device_properties(0).total_memory / 1e9:.1f} GB")
-    else:
-        print("  WARNING: No GPU detected — training will be very slow!")
+    if device != "cuda":
+        raise RuntimeError(
+            "CUDA GPU is required for training. "
+            "No GPU was detected, so training was stopped to avoid CPU slowdown."
+        )
+
+    print(f"  GPU    : {torch.cuda.get_device_name(0)}")
+    print(f"  VRAM   : {torch.cuda.get_device_properties(0).total_memory / 1e9:.1f} GB")
 
     tokenizer = AutoTokenizer.from_pretrained(BASE_MODEL)
     model     = AutoModelForSeq2SeqLM.from_pretrained(BASE_MODEL)

sincode_model.py

@@ -4,7 +4,7 @@ SinCode v3 — public API entry point.
 Usage:
     from sincode_model import BeamSearchDecoder
     decoder = BeamSearchDecoder()
-    result, logs = decoder.decode("mema videowe bit rate eka godak wadi nisa buffer wenawa")
+    result, logs, word_candidates = decoder.decode("mema videowe bit rate eka godak wadi nisa buffer wenawa")
 """
 
 from core.decoder import BeamSearchDecoder, ScoredCandidate             # noqa: F401