Njohja optike e karaktereve

parapamje|300x300px| Video e procesit të skanimit dhe njohjes optike të karaktereve (OCR) në kohë reale me një skaner portativ
**Zgjidhja optike e karaktereve ose leximi optik i karaktereve** ( **OCR** ) është konvertimi elektronik ose mekanik i imazheve që përmbajnë tekst të shtypur, të shkruar me dorë ose të shtypur në tekst të koduar nga makina, qoftë nga një dokument i skanuar, një foto e një dokumenti,  një foto dokumenti, një foto e një skene (p.sh. tekst në tabela apo tabele reklamash në një foto peizazhi), ose nga teksti i nëntitulluar i shfaqur mbi një imazh (p.sh. gjatë një transmetimi televiziv).

Përdoret gjerësisht si një formë e futjes së të dhënave nga dokumente të shtypura në letër. si pasaporta, fatura, ekstrakte bankare, fatura të kompjuterizuara, karta biznesi, posta, të dhëna të shtypura ose çdo dokument tjetër i përshtatshëm - është një metodë e zakonshme e dixhitalizimit e teksteve të shtypura në mënyrë që ato të mund të redaktohen elektronikisht, të kërkohen, të ruhen në mënyrë më kompakte, të shfaqen në internet dhe të përdoren në procese makinerike siç janë informatika kognitive, përkthimi automatik, (nxjerrja) tekst-në-të-folur, të dhënat kyçe dhe nxjerrja e të dhënave nga teksti .OCR është një fushë kërkimore që lidhet me njohjen e modeleve, inteligjencën artificiale dhe vizionin kompjuterik .

Versionet e hershme duhej të trajnoheshin me imazhe të secilit karakter dhe dhe funksiononin me një font të vetëm.  Sistemet moderne, të afta të prodhojnë saktësi të lartë për shumicën e shkronjave janë tani të zakonshme dhe dhe mbështesin një sërë formatimesh të skedarëve të imazhit.  Disa sisteme janë të afta të riprodhojnë daljen e formatuar duke iu afruar shumë faqes origjinale duke përfshirë imazhe, kolona dhe elementë të tjerë jo-tekstualë.

## Historia 
Fillimet e njohjes optike të karaktereve mund të gjurmohen te teknologjitë e lidhura me telegrafinë dhe krijimin e pajisjeve lexuese për të verbërit.  Në vitin 1914, Emanuel Goldberg zhvilloi një makinë që lexonte karaktere dhe i shndërronte ato në kod telegrafik standard.  Njëkohësisht, Edmund Fournier d'Albe zhvilloi Optophone- in, një skaner dore që, kur lëvizte mbi një faqe të shtypur, prodhonte tinguj që korrespondonin me shkronja ose karaktere specifike. 

Në fund të viteve 1920 dhe në fillim te viteve 1930, Emanuel Goldberg zhvilloi atë që ai e quajti një "Makinë Statistikore" për kërkimin në arkivat e mikrofilmave duke përdorur një sistem optik njohjes së kodeve. Në vitin 1931, atij iu dha Patenta Amerikane numër 1,838,389 për këtë shpikje. Patenta u ble nga IBM .

### Përdoruesit me shikim të kufizuar 
Në vitin 1974, Ray Kurzweil themeloi kompaninë Kurzweil Computer Products, Inc. dhe vazhdoi zhvillimin e OCR-së shumëfontëshe, e cila mund të njihte tekst të shtypur pothuajse në çdo font. (Kurzweil shpesh vlerësohet si shpikësi i omni-font OCR, por ajo ishte tashmë në përdorim nga kompani të ndryshme, përfshirë *CompuScan*, në fund të viteve 1960 dhe në vitet 1970 ) Kurzweil e përdori këtë teknologji për të krijuar një makinë leximi për njerëzit e verbër, në mënyrë që një kompjuter t'u lexonte tekst me zë të lartë. Pajisja përfshinte një skaner të sheshtë të tipit CCD dhe një sintetizues tekst-në-fjalë. Më 13 janar 1976, produkti i përfunduar u prezantua në një konferencë shtypi të gjerë të drejtuar nga Kurzweil dhe udhëheqësit e Federatës Kombëtare të të Verbërve .  Në vitin 1978, Kurzweil Computer Products filloi të shiste një versioni komercial të programit për njohjen optike të karaktereve. LexisNexis ishte një nga klientët e parë, dhe e bleu programin për të ngarkuar dokumente ligjore dhe materiale lajmesh në bazat e saj të të dhënave online që sapo kishin filluar të zhvilloheshin. Dy vite më vonë, Kurzweil ia shiti kompaninë e tij Xerox-it, e cila më vonë e veçoi siScansoft, që më pas u bashkua me Nuance Communications .

Në vitet 2000, OCR u bë i disponueshëm në internet si një shërbim (WebOCR), në një mjedis të cloud computing, si dhe në aplikacione mobile, përfshirë përkthimin në kohë reale të shenjave në gjuhë të huaj përmes një smartphone. Me shfaqjen e smartphone-ve dhe smartglasses, OCR mund të përdoret në aplikacione mobile të lidhura me internetin që nxjerrin tekstin nga imazhet e kapura duke përdorur kamerën e pajisjes. Këto pajisje që nuk kanë funksionalitet të integruar OCR zakonisht përdorin një API OCR për të nxjerrë tekstin nga skedari i imazhit të kapur nga pajisja.   API-ja e OCR-it kthen tekstin e nxjerrë, së bashku me informacionin rreth vendndodhjes së tekstit të zbuluar në imazhin origjinal përsëri te aplikacioni i pajisjes për përpunim të mëtejshëm (siç është teksti në të folur) ose shfaqje.

Sisteme të ndryshme komerciale dhe me burim të hapur OCR janë të disponueshme për shumicën e sistemeve të zakonshme të shkrimit, duke përfshirë karakteret Latine, Cirilike, Arabe, Hebraike, Indiane, Bengale (Bangla), Devanagari, Tamile, Kineze, Japoneze dhe Koreane.

## Aplikacionet 
Motorët e OCR-it janë zhvilluar në aplikacione softuerësh që specializohen në fusha të ndryshme, të tilla si faturat e blerjeve, faturat, çekët dhe dokumentet ligjore të faturimit.

Softueri mund të përdoret për:

* Futja e të dhënave për dokumente biznesi, p.sh. çekë, pasaporta, fatura, deklarata bankare dhe fatura
* Njohja automatike e targës
* Njohja e pasaportave dhe nxjerrja e informacionit në aeroporte
* Nxjerrja automatike e informacionit kryesor nga dokumentet e sigurimithttps://www.koncile.ai/en/en-extract-use-case/insurance?utm_source=chatgpt.com
* Njohja e shenjave të trafikut 
* Nxjerrja e informacionit të kartës së biznesit në një listë kontaktesh 
* Krijimi i versioneve tekstuale të dokumenteve të shtypura, p.sh. skanimi i librave për Projektin Gutenberg
* Bërja e imazheve elektronike të dokumenteve të shtypura të kërkueshme, p.sh. Google Books
* Konvertimi i shkrimit të dorës në kohë reale për të kontrolluar një kompjuter ( llogaritja me stilolaps )
* Mposhtja ose testimi i qëndrueshmërisë së sistemeve anti-bot CAPTCHA, megjithëse këto janë projektuar posaçërisht për të parandaluar OCR-në.   
* Teknologji ndihmëse për përdoruesit e verbër dhe me shikim të kufizuar
* Shkrimi i udhëzimeve për automjetet duke identifikuar imazhet CAD në një bazë të dhënash që janë të përshtatshme për dizajnin e automjetit ndërsa ai ndryshon në kohë reale
* Duke i bërë dokumentet e skanuara të kërkueshme duke i konvertuar ato në PDF

## Llojet 
* Njohja optike e karaktereve (OCR) synon tekstin e shkruar me makinë shkrimi, një glif ose karakter në të njëjtën kohë.
* Njohja optike e fjalëve synon tekstin e shkruar me makinë shkrimi, një fjalë në një kohë (për gjuhët që përdorin një hapësirë si ndarës fjalësh ). Zakonisht quhet thjesht "OCR".
* Njohja inteligjente e karaktereve (ICR) gjithashtu synon tekstin e shkruar me dorë të shtypur ose tekstin kursiv, një glif ose karakter në të njëjtën kohë, zakonisht duke përfshirë të mësuarit automatik .
* Njohja inteligjente e fjalëve (IWR) gjithashtu synon tekstin e shkruar me dorë ose tekstin kursiv, një fjalë në të njëjtën kohë. Kjo është veçanërisht e dobishme për gjuhët ku glifet nuk janë të ndara në shkrimin kursiv.

OCR zakonisht është një proces offline, i cili analizon një dokument statik. Ekzistojnë gjithashtu shërbime bazuar në cloud të cilat ofrojnë një shërbim online OCR API. Analiza e lëvizjes së shkrimit të dorës mund të përdoret si input për njohjen e shkrimit me dorë .  Në vend që të përdorë vetëm format e glifeve dhe fjalëve, kjo teknikë është në gjendje të kapë lëvizjen, si p.sh. rendin në të cilin vizatohen segmentet, drejtimin, dhe mënyrën e vendosjes dhe ngritjes së stilolapsit. Ky informacion shtesë mund ta bëjë procesin më të saktë. Kjo teknologji njihet gjithashtu si "njohje e karaktereve online", "njohje dinamike e karaktereve", "njohje e karaktereve në kohë reale" dhe "njohje inteligjente e karaktereve".

## Teknikat 
### Para-përpunim 
Softueri OCR shpesh i nënshtrohet parapërpunimit imazhet për të përmirësuar mundësinë e një njohjeje të suksesshme. Teknikat përfshijnë: 

* Heqja e shtrembërimitNëse dokumenti nuk ishte i pozicionuar si duhet gjatë skanimit, mund të jetë e nevojshme të anohet disa gradë në drejtim të akrepave të orës ose në drejtim të kundër të akrepave të orës në mënyrë që rreshtat e tekstit të jenë plotësisht horizontalë ose vertikalë.
* Zbutje e njollaveheqja e njollave pozitive dhe negative, zbutja e skajeve
* Binarizimi konvertimi i një imazhi nga ngjyra ose gri në të zezë e të bardhë (i quajtur imazh binar sepse ka dy ngjyra). Detyra kryhet si një mënyrë e thjeshtë për të ndarë tekstin (ose çdo përbërës tjetër të dëshiruar të imazhit) nga sfondi.  Detyra e binarizimit është e nevojshme pasi shumica e algoritmeve të njohjes komerciale punojnë vetëm në imazhe binare, pasi është më e thjeshtë për ta bërë këtë.  Përveç kësaj, efektiviteti i binarizimit ndikon në një masë të konsiderueshme në cilësinë e njohjes së karaktereve, dhe merren vendime të kujdesshme në zgjedhjen e binarizimit të përdorur për një lloj të caktuar të imazhit hyrës; pasi cilësia e metodës së përdorur për të marrë rezultatin binar varet nga lloji i imazhit (dokument i skanuar, imazh teksti i skenës, dokument historik i degraduar, etj.).  
* Heqja e vijës Pastrimi i kutive dhe vijave jo-glifike
* Analiza e rënditjes ose zonimi Identifikimi i kolonave, paragrafëve, mbishkrimeve etj., si blloqe të dallueshme. Veçanërisht i rëndësishëm në paraqitjet dhe tabelat me shumë kolona .
* Zbulimi i rreshtave dhe fjalëve Vendosja e një linje bazë për format e fjalëve dhe të karaktereve, duke i ndarë fjalët sipas nevojës.
* Njohja e skriptit Në dokumentet shumëgjuhëshe, shkrimi mund të ndryshojë në nivelin e fjalëve dhe për këtë arsye, identifikimi i shkrimit është i nevojshëm, përpara se të aktivizohet OCR-ja e duhur për të trajtuar shkrimin specifik. 
* Izolimi ose segmentimi i personazheve Për OCR-në për karakter, karakteret e shumta që janë të lidhura për shkak të artefakteve të imazhit duhet të ndahen; karakteret e vetme që janë të ndara në pjesë të shumta për shkak të artefakteve duhet të lidhen.
* Normalizimi i raportit të aspektit dhe shkallës 

Segmentimi i fonteve me gjerësi fikse realizohet në mënyre relativisht të thjeshtë duke e rreshtuar imazhin  me një rrjet uniforme bazuar në vendet ku vijat vertikale të rrjetit kanë më pak gjasa të kryqëzohen me zona të zeza. Për fontet proporcionale, nevojiten teknika më të sofistikuara sepse hapësira e bardhë midis shkronjave ndonjëherë mund të jetë më e madhe se ajo midis fjalëve, dhe vijat vertikale mund të ndërpriten me më shumë se një karakter. 

### Njohja e tekstit 
Ekzistojnë dy lloje bazë të algoritmeve kryesore të OCR-it, të cilët mund të prodhojnë një listë të renditur të karaktereve kandidat. 

* *Përputhja e matricës* përfshin krahasimin e një imazhi me një glif të ruajtur në bazë piksel-për-piksel; njihet edhe si *përputhje modeli*, *njohje modeli* ose *korrelacion imazhi* . Kjo varet nga izolimi i saktë i glifit hyrës nga pjesa tjetër e imazhit, dhe në faktin që glifi i ruajtur është në një font të ngjashëm dhe në të njëjtën shkallë. Kjo teknikë funksionon më së miri me tekstin e shkruar me makinë shkrimi dhe nuk funksionon mirë kur hasen fonte të reja. Kjo është teknika që OCR-ja e hershme fizike e bazuar në fotoqeliza zbatohet, mjaft drejtpërdrejt.
* *Nxjerrja e karakteristikave* i zbërthen glifet në "karakteristika" si vija, cikle të mbyllura, drejtimi i vijës, dhe kryqëzimet e vijave. Karakteristikat e nxjerrjes zvogëlojnë dimensionalitetin e përfaqësimit dhe e bëjnë procesin e njohjes më efikas nga ana llogaritëse.. Këto karakteristika krahasohen me një përfaqësim abstrakt vektorial të një karakteri, i cili mund të reduktohet në një ose më shumë prototipa glifesh. Teknikat e përgjithshme të zbulimit të karakteristikave në vizionin kompjuterik janë të zbatueshme për këtë lloj OCR-je, e cila shihet zakonisht në njohjen "inteligjente" të shkrimit të dorës dhe në shumicën e softuerëve modernë OCR.  Klasifikuesit e fqinjëve më të afërt, siç është algoritmi k-fqinjë më të afërt, përdoren për të krahasuar karakteristikat e imazhit me karakteristikat e ruajtura të glifeve dhe për të zgjedhur përputhjen më të afërt. 

Softuerët të tillë si Cuneiform dhe Tesseract përdorin një qasje dy-fazore për njohjen e karaktereve. Faza e dytë njihet si njohje adaptive dhe përdor format e shkronjave të njohura me besim të lartë gjatë fazës së parë për të njohur më mirë shkronjat e mbetura në fazën e dytë. Kjo është e dobishme për fonte jo të zakonshme ose për skanime me cilësi të ulët ku fonti është i shtrembëruar (p.sh. i paqartë ose i zbehur). 

Rezultati i OCR-it mund të ruhet në formati standardizuar ALTO, një skemë XML e dedikuar që administrohet nga Biblioteka e Kongresit të Shteteve të Bashkuara. Formatet e tjera të zakonshme përfshijnë hOCR dhe PAGE XML .

Për një listë të softuerëve për njohjen optike të karaktereve, shihni Krahasimin e softuerëve për njohjen optike të karaktereve .

### Përpunimi pasues 
Saktësia e OCR-it mund të rritet nëse rezultati kufizohet nga një leksikonnjë listë fjalësh që lejohen të shfaqen në një dokument.  Për shembull, "Washington, DC" është zakonisht shumë më e zakonshme në anglisht sesa "Washington DOC".

Njohja e gramatikës së gjuhës që po skanohet mund të ndihmojë gjithashtu në përcaktimin nëse një fjalë është më e mundshme të jetë një folje apo një emër, për shembull, duke mundësuar kështu një saktësi më të madhe.

Algoritmi i Distancës Levenshtein është përdorur gjithashtu në pas-përpunimin e OCR-it për të optimizuar më tej rezultatet nga një OCR API. 

### Optimizime specifike për aplikacionin 
Në vitet e fundit,ofruesit kryesorë të teknologjisë OCR filluan të modifikojnë sistemet OCR për të përpunuar më në mënyrë efikase lloje të caktuara të të dhënave hyrëse. Përveç një leksikoni specifik për aplikacionin, performanca më e mirë mund të përmirësohet duke marrë parasysh rregullat e biznesit, shprehjet standarde,  ose informacionin e pasur të përmbajtur në imazhe me ngjyra. Kjo strategji quhet "OCR e Orientuar nga Aplikacioni" ose "OCR e Personalizuar" dhe është aplikuar në OCR të targa automjetesh, faturave, pamjeve të ekranit, kartave të identitetit, patentave të drejtimit dhe prodhimit të automjeteve .

*The New York Times*  ka përshtatur teknologjinë OCR në një mjet pronësor të quajtur *Document Helper,* që i mundëson ekipit të tyre interaktiv të lajmeve të përshpejtojë përpunimin e dokumenteve që duhet të rishikohen. Ata vërejnë se kjo u mundëson atyre të përpunojnë deri në 5,400 faqe në orë në përgatitje për gazetarët që të rishikojnë përmbajtjen.

## Zgjidhje alternative 
Ekzistojnë disa teknika për të zgjidhur problemin e njohjes së karaktereve duke përdorur mënyra të tjera përveç algoritmeve të përmirësuara të OCR-së.

### Detyrimi i të dhënave më të mira 
Fonte të veçanta si OCR-A, OCR-B ose MICR, me përmasa, hapësira dhe forma karakteresh të përcaktuara saktësisht, lejojnë një shkallë më të lartë saktësie gjatë transkriptimit në përpunimin e çekëve bankarë. Disa motorë të njohur OCR janë dizajnuar për të kapur tekst në fontet e njohura si Arial ose Times New Roman, dhe nuk janë në gjendje të kapin tekst në këto fonte të specializuara që janë shumë të ndryshme nga fontet e përdorura zakonisht. Për shkak se Google Tesseract mund të trajnohet për të njohur fonta të reja, ai mund të njohë edhe fontet OCR-A, OCR-B dhe MICR. 

*Kuti të segmentuara* janë kuti të shtypura paraprakisht që nxisin njerëzit të shkruajnë më qartë – një glifë për çdo kuti.  Crowdsourcing-u është përdorur gjithashtu jo për të kryer drejtpërdrejt njohjen e karaktereve, por për të ftuar zhvillues të softuerëve të krijojnë algoritme të përpunimit të imazhit, për shembull, përmes përdorimit të turneve të renditjes . 

## Saktësia 
parapamje|Ndodhja e fjalëve "laft" dhe "last" në bazën e të dhënave n-gram të Google, në dokumente në anglisht nga viti 1700 deri në vitin 1900, bazuar në skanimet OCR për korpusin "English 2009".
[parapamje|Ndodhja e fjalëve laft dhe last në bazën e të dhënave n-gram të Google, bazuar në skanimet OCR për korpusin "English 2012" 

Njohja e tekstit të daktilografuar [Shkrimi latin|me alfabet latin, ende nuk është 100% e saktë edhe kur imazhet janë të qarta. Një studim i bazuar në njohjen e faqeve të gazetave të shekullit të 19-të dhe fillimit të shekullit të 20-të arriti në përfundimin se saktësia e OCR-së karakter për karakter nga softuerët komercialë OCR varionte nga 81% në 99%;  saktësia e plotë mund të arrihet përmes rishikimit njerëzor ose Verifikimit me Fjalor të të Dhënave. Fusha të tjerapërfshirë njohjen e shkrimit me dorë në formë shtypi, shkrimit kursiv dhe tekstit të shtypur në alfabete të tjera (sidomos gjuhët e Azisë Lindore të cilat kanë shumë vija për një karakter të vetëm)ende janë objekt hulumtimi aktiv. Baza e të dhënave MNIST përdoret zakonisht për testimin e aftësisë së sistemeve për të testuar aftësinë e sistemeve për të njohur shifrat e shkruara me dorë.

Shkallët e saktësisë mund të maten në disa mënyra, dhe mënyra se si maten mund të ndikojë shumë në shkallën e raportuar të saktësisë. Për shembull, nëse konteksti i fjalës (një leksikon fjalësh) nuk përdoret për të korrigjuar softuerin kur ai gjen fjalë që nuk ekzistojnë, një normë gabimi prej 1% në karaktere (99% saktësi) mund të rezultojë në një normë gabimi prej 5% ose më keq, nëse matja bazohet në faktin nëse çdo fjalë e plotë është njohur pa letra të pasakta.  Përdorimi i një grupi të dhënash mjaftueshëm të madh është i rëndësishëm në zgjidhjet e njohjes së shkrimit me dorë të bazuara në rrjete neuronale. Nga ana tjetër, krijimi i prodhimit të grupeve të të dhënave natyrore është shumë i ndërlikuar dhe kërkon shumë kohë. 

Një shembull i vështirësive të natyrshme në digjitalizimin e teksteve të vjetra është pamundësia e OCR-it për të dalluar midis karaktereve " s të gjata " dhe shkronjës "f".   

## Unicode 
Karakteret për të mbështetjem e OCR-it u shtuan në Standardin Unicode në qershor 1993, me publikimin e versionit 1.1.

Disa nga këto karaktere janë të lidhura me fontet specifike për MICR, OCR-A ose OCR-B .  

*

## Referime 
* Unicode OCRDiapazoni Heksadecimal: 2440-245F Njohja Optike e Karaktereve në Unicode
* Bibliografi e shënuar e referencave për njohjen e karaktereve të shkrimit të dorës dhe informatikën me stilolaps

**Shih edhe**
* Efekti i Inteligjencës Artificiale
* Aplikimet e Inteligjencës Artificiale
* Krahasimi i softuerëve të njohjes optike të karaktereve
* Linguistika Kompjuterike
* Bibliotekë Dixhitale
* Zyrë Postare Dixhitale
* Stilolaps Dixhital
* eScriptorium
* Arkiv Institucional
* Lexueshmëri   
* Lista e Teknologjive të Reja dhe në Zhvillim
* Zgjidhja për Njohjen e Karaktereve me Ink të Drejtpërdrejtë
* Njohja e Karaktereve me Ink Magnetik
* Njohja Optike e Muzikës
* OCR në Gjuhët Indiane
* Njohja Optike e Shenjave
* Korniza e AI
* Njohja e Skicave
* Njohja e të Folurit
* Tesseract OCR engine
* Regjistrimi i Zërit

**Referencat**

* 1.  
* 2. 
* 3. 
* 4. 
* 5. 
* 6. 
* 7. 
* 8. 
* 9. 
* 10. 
* 11. 
* 12. 
* 13.  
* 14. 
* 15. 
* 16. 
* 17. 
* 18. 
* 19. 
* 20. 
* 21. 
* 22. 
* 23. 
* 24. 
* 25. 
* 26. 
* 27. 
* 28. 
* 29. 
* 30. 
* 31. 
* 32. 
* 33. 
* 34. 
* 35. 
* 36.  
* 37. 
* 38. 
* 39. 
* 40. 
* 41.