Συζήτηση Βικιπαίδεια:AutoWikiBrowser/Typos

message: Εγώ θα έλεγα για να δούμε το πρόβλημα σφαιρικά.. να εξάγουμε όλο το κείμενο της βικιπαίδειας και να βγάλουμε ένα λεξικό μοναδικών λέξεων αλλά δίπλα πόσες φορές εμφανίζεται η κάθε μία. Λέξεις οι οποίες εμφανίζονται λίγες φορές (π.χ. 1 φορά) το πιθανότερο (στατιστικά) θα είναι ότι έχουν λάθη τυπογραφικά (όπως αγγλικούς χαρακτήρες κλπ).
Πάνω σε αυτό το σύνολο θα πρέπει να εκπαιδεύσουμε εργαλεία είτε με κανονικές εκφράσεις είτε με άλλη μορφή επεξεργασίας να γίνει η διόρθωση. Ενδεχομένως να προκύψει και ένα λεξικό εξαιρέσεων μετά από μια τέτοια μελέτη. Ggia (συζήτηση) 20:24, 22 Νοεμβρίου 2012 (UTC)
replies: text: Έχω δημιουργήσει το Βικιπαίδεια:Database download όπου μπορεί κάποιος να κατεβάσει όλη την ελληνική Βικιπαίδεια offline. Δε ξέρω πως θα μπορούσαμε να φτιάξουμε μια λίστα με όλες τις λέξεις όμως. -- Magioladitis (συζήτηση) 23:36, 23 Νοεμβρίου 2012 (UTC)
replies: text: :Υπάρχει το SRI-LM - εργαλείο για γλωσσικά μοντέλα (λεξικό με εμφανίσεις λέξεων, bigrams, trigrams), θα προσπαθήσω αν έχω σε text όλη την βικιπαίδεια να βγάλω το λεξικό και πόσες φορές εμφανίζεται η κάθε λέξη. Το έχω χρησιμοποιήσει στο παρελθόν το εργαλείο αυτό. Ακόμη και η πληροφορία των bigrams (δηλαδή πόσες φορές εμφανίζεται ένα ζευγάρι λέξεων) θα μπορούσαμε να μελετήσουμε πως θα το αξιοποιήσουσαμε. Θα κοιτάξω λίγο το dump, και να δω πως μπορώ να εξάγω από αυτό μόνο το text.  Ggia (συζήτηση) 00:58, 24 Νοεμβρίου 2012 (UTC)

text: :γιατί δεν απευθύνεσαι στους developers να σε βοηθήσουν; Στο unix υπάρχει το strings, το οποίο ίσως να μην δουλεύει με το ελληνικό αλφάβητο. Αλλά αυτοί μπορούν να σου δώσουν άμεση και σωστή απάντηση. Ggia, εσύ τι προτείνεις; --Ογκόλιθος (συζήτηση) 23:40, 23 Νοεμβρίου 2012 (UTC)

message: Κατέβασα το αρχείο dump elwiki-20121122-pages-articles-multistream.xml. Μέσα είναι αποθηκευμένα όλα τα λήμματα της βικιπαίδειας σε μορφή xml. Από ότι κατάλαβα τα "" που έχει το λήμμα Γεωγραφία εμφανίζονται ως "" κλπ.. Τέτοια tags όπως το  που ουσιαστικά είναι html tags και όχι mediawiki tags είναι επιθυμητά ή θα πρέπει να αφαιρεθούν; Είναι επιθυμητό να έχουμε "HTML: Special Characters" στα dumps;
Το λήμμα Γεωγραφία αποθηκευμένο με μορφή xml (από το dump)
<sha1>5yhfg5rkkibmrsoa3vhixru7bc5cafn</sha1>
      <model>wikitext</model>
      <format>text/x-wiki</format>
    </revision>
  </page>
  <page>
    <title>Γεωγραφία</title>
    <ns>0</ns>
    <id>30</id>
    <revision>
      <id>3698862</id>
      <parentid>3697542</parentid>
      <timestamp>2012-11-20T11:44:01Z</timestamp>
      <contributor>
        <username>Makecat-bot</username>
        <id>105135</id>
      </contributor>
      <minor />
      <comment>r2.7.3) (Ρομπότ: Προσθήκη: pa:ਭੂਗੋਲ, wuu:地理学</comment>
      <text xml:space="preserve">
Η Γεωγραφία είναι η συστηματική σπουδή και περιγραφή τόσο της επιφάνειας της Γης, όσο και των φαινομένων που συμβαίνουν σ΄αυτή. 
Είναι η επιστήμη που μελετά και τις κατ΄ επέκταση σχέσεις του ανθρώπου προς τη Γη. Μελετά πώς οι άνθρωποι χρησιμοποιούν, αλλά και να διαμορφώνουν το χώρο μέσα στον οποίο ζουν, καθώς και πώς η Γη επηρεάζει τον τρόπο που ζουν οι άνθρωποι. Ιδιαίτερα διαμορφώνει τους γενικούς όρους κατανομής και ζωής των όντων στην επιφάνειά της.
Συνεπώς η Γεωγραφία περιορίζεται εξ αντικειμένου στη σπουδή και την έρευνα μόνο στην επιφάνεια της Γης, στη περιγραφή και στην ερμηνεία των φαινομένων που συμβαίνουν σ΄ αυτή, είτε είναι φυσικά, είτε είναι ανθρωπογενή. Το πεδίο αυτό, της γεωγραφικής έρευνας - μελέτης - περιγραφής και ερμηνείας περιορίζεται σε οτιδήποτε είναι ορατό από έναν υποθετικό παρατηρητή που βρίσκεται σ΄ ένα αερόστατο με απεριόριστη δράση. Υπό την έννοια αυτή η Γεωγραφία παρουσιάζει ασύγκριτο ενδιαφέρον και πολύ ανώτερο από τη "ξηρή" παράταξη και παράθεση ονομάτων και αριθμών. 
Και ακριβώς αυτή την αντίληψη σχημάτισαν πρώτοι οι Έλληνες, διακρίνοντας και πρώτοι τα ουσιώδη χαρακτηριστικά προσδιορίζοντάς τα με μία λέξη "Γεωγραφία". Η λέξη παράγεται από τις ελληνικές λέξεις γη και γράφω («γράφω» στα αρχαία ελληνικά σημαίνει ζωγραφίζω). 
* Ο επιστήμονας που ασχολείται με αυτή την επιστήμη ονομάζεται γεωγράφος.
== Ετυμολογία ==
Η συλλαβή γεω, φέρεται με 4 έννοιες = 
# χωρώ, εξ ου και γη (και η γη είναι αυτή πού χωρά τα πάντα)
# λαμβάνω και δέχομαι (εξ ου και γωγυτός), η τών βελών θήκη, κάποιος πού είναι χωρυτός = χωρείν τά ΄ρυτά, δηλ. τα βέλη και τόξα (εις ην τα ΄ρυτά χωρείται)
# γεννώ= εξ ου και γυνή,
# το φωνώ, εξ ου και γεγωνώς, (αρσ.) και τώρα, γεγ-ο-ν-ό-ς.
Το "χ" μετατρέπεται σέ "γ", και γίνεται γέω/γώ + γράφω = γεννώ ( δηλ, γράφει/ζωγραφίζει όσα χωρούν, ο γεωγράφος).
Έτσι, γεωγραφία = ζωγραφική / γραφή (και καταγραφή) όσων χωρούν, δηλ. της Γης.
 
== Γενικά ==
Η Γεωγραφία είναι πολύ περισσότερη από μία χαρτογράφηση και μελέτη χαρτογραφημάτων, με παράθεση των 'ακρωτηρίων και κολπίσκων'. Δεν διερευνά μόνο τι είναι και πού βρίσκεται στη Γη, αλλά επίσης και το γιατί βρίσκεται εκεί και όχι κάπου αλλού, αυτό που μερικές φορές αποκαλείται και «τοποθεσία του χώρου». Μελετά αυτό με γνώμονα εάν η αιτία είναι φυσική ή ανθρωπογόνος. Επίσης, μελετά και τις συνέπειες που προκύπτουν από αυτές τις διαφορές.
Όπως ο Ουίλιαμ Χιουζ (William Hughes) - που δίδασκε τη γεωγραφία των Ιερών Τόπων στους μαθητές της Θεολογίας στο Βασιλικό Κολλέγιο του Λονδίνου (King's College London) - το έθεσε σε μία προσφώνηση το 1863: «Η απλή ονομασία χωρών δεν είναι γεωγραφία. Το να ξέρεις από στήθους ένα γεωγραφικό λεξικό δεν κάνει κάποιον, από μόνο του, γεωγράφο. Η γεωγραφία έχει υψηλότερες βλέψεις από αυτές: αναζητά την ταξινόμηση φαινομένων (ομοίως του φυσικού και πολιτικού κόσμου στο βαθμό που διερευνά τον δεύτερο) ούτως ώστε να συγκρίνει, να γενικεύσει, να περάσει από τις επιπτώσεις στα αίτια και κάνοντάς το αυτό να ανακαλύψει τους σημαντικούς νόμους της φύσης και να επισημάνει την επιρροή τους στον άνθρωπο. Με μια λέξη, η γεωγραφία είναι επιστήμη, όχι απλών ονομάτων, αλλά επιχειρημάτων και λογικής, αιτιών και επιπτώσεων».
== Σειρά διεργασιών ==
Ο ουσιαστικός ρόλος της Γεωγραφίας αρχίζει αναμφίβολα με την καταγραφή και περιγραφή των γεωγραφικών στοιχείων ενός τόπου, ή μιας περιοχής (ποτάμια, βουνά, κόλποι κ.λπ.) και στη συνέχεια την κατανόηση των προτύπων σχημάτων (patterns) που δημιουργούν αυτά γενικά στο χώρο καθορίζοντας συγχρόνως τα δίκτυα (συστήματα αναφοράς) που συνδέουν αυτά. Στη συνέχεια προσδιορίζονται οι διεργασίες που προκάλεσαν αυτά, καθώς και τις αιτίες που συνεχίζουν να επιδρούν και να αλλάζουν αυτά. Τα παραπάνω πρότυπα σχήματα εξετάζονται κατά τη συνάφεια που παρουσιάζουν μεταξύ τους προκειμένου έτσι ν΄ αποδοθεί σωστά η πραγματική εικόνα και σε κάποιον που δεν έχει επισκεφθεί τον αυτό χώρο.
Για παράδειγμα η γεωγραφική θέση και περιγραφή μιας πόλης εξετάζεται στο γενικότερο πλαίσιο της περιφέρειας που βρίσκεται, της χώρας που ανήκει, στο πλαίσιο της ηπείρου που περιλαμβάνεται και κατ΄ επέκταση στον παγκόσμιο γεωγραφικό χάρτη.
Κύριο στοιχείο στη πρόοδο και κατανόηση του τεράστιου αυτού επιστημονικού πεδίου είναι η σαφήνεια των γεωγράφων που θα πρέπει να τους διακρίνει, η αντικειμενική παρατήρηση και η πληρότητα της ερμηνείας των δεδομένων.
== Βασική διάκριση ==
Η Γεωγραφία αν και φαίνεται ως μία ενιαία επιστήμη στη πράξη εφαρμόζονται δύο τρόποι προσέγγισης του προβλήματος – σκοπού. 
Ο πρώτος τρόπος είναι η γεωγραφική εξέταση του χώρου κατά τμήματα ή περιφέρειες όπου τότε γίνεται αναφορά για «γεωγραφία περιοχών», ή περιφερειών (regional geography). 
Ο δεύτερος τρόπος είναι η ομαδοποίηση των γεωγραφικών δεδομένων ενός τόπου, σύμφωνα με ορισμένους συνδυασμούς που δημιουργούν πρότυπα σχήματα του χώρου, όπου τότε γίνεται αναφορά για «συστηματική γεωγραφία» (systematic geography).
== Ιστορία της Γεωγραφίας ==
Οι πρώτες έννοιες της Γεωγραφίας αποκαλύπτονται στην Ελληνική Μυθολογία όπου οι πολύ πρώιμες παρατηρήσεις των γεωλογικών αναστατώσεων και των επακόλουθων διαμορφώσεων, τουλάχιστον του αρχαίου ελλαδικού χώρου, διαμορφώνονται ως μυθολογικές ανθρωπόμορφες έννοιες και μυθικές δραστηριότητες αυτών. Ασφαλώς και από την άποψη αυτή ο Ησίοδος αλλά και ο Όμηρος θα πρέπει να θεωρούνται οι πρώτοι γεωγράφοι. Αλλά και στην αρχαία Βαβυλώνα και την Αίγυπτο οι πρώτες γεωγραφικές αναφορές χαρακτηρίζονται ως τοπογραφία περιοχών που εξαφανίζονται από πλημμύρες.
Ο Ελληνικός πολιτισμός είναι ο πρώτος πολιτισμός που ενεργά εξερεύνησε τη Γεωγραφία ως επιστήμη και φιλοσοφία, με κύριους συντελεστές τους Θαλή το Μιλήσιο, Ηρόδοτο, Ερατοσθένη, Ίππαρχο, Αριστοτέλη, Δικαίαρχο τον Μεσσηνό, Στράβωνα και Πτολεμαίο. Η χαρτογράφηση από τη Ρωμαϊκή Αυτοκρατορία κατά τη διάρκεια των εξερευνήσεων τους πρόσθεσε νέες τεχνικές στη Γεωγραφία(*). Μία από τις τεχνικές είναι ο περίπλους: η περιγραφή λιμανιών και της στεριάς που ένας ναύτης θα συναντούσε στη διάρκεια του ταξιδιού κατά τη στεριά.
(*). Με τον τίτλο "Γεωγραφία" φέρεται σειρά διαφόρων ιστορικών βιβλίων που ασχολούνται με το θέμα, όπως το αξιόλογο Geographia από τον Κλαύδιο Πτολεμαίο (2ος αιώνας μ.Χ.).
Κατά τη διάρκεια του Μεσαίωνα Άραβες όπως οι Idrisi, Ibn Battuta και Ιμπν Χαλντούν διατήρησαν τις ελληνικές και ρωμαϊκές τεχνικές και δημιούργησαν δικές τους.
== Κλάδοι της γεωγραφίας ==
* Φυσική Γεωγραφία (Γεωμορφολογία, Κλιματολογία)

* Ανθρωπογεωγραφία
* Βιογεωγραφία
* Πολιτική Γεωγραφία και Γεωπολιτική
* Γεωπληροφορική
* Χαρτογραφία

== Δείτε επίσης ==

* Κατάλογος χωρών
* Χώρα
* Έθνος
* Πόλη
== Εξωτερικοί σύνδεσμοι ==

* Γεωγραφία, η επιστήμη του χώρου και του χρόνου, Τμ. Γεωγραφίας, Πανεπιστ. Αιγαίου.

*
Κατηγορία:Κοινωνικές επιστήμες




ab:Географи
af:Geografie
ak:Gyeografi
als:Geografie
am:መልክዓ ምድር
an:Cheografía
ar:جغرافيا
arc:ܓܐܘܓܪܦܝܐ
arz:جغرافيا
as:ভূগোল
ast:Xeografía
av:География
ay:Uraqita
az:Coğrafiya
ba:География
bar:Geografie
bat-smg:Geuograpėjė
bcl:Heograpiya
be:Геаграфія
be-x-old:Геаграфія
bg:География
bh:भूगोल
bi:Jiografi
bm:Dùgùkòlòkùnnàkalan
bn:ভূগোল
bo:ས་ཁམས་རིག་པ།
br:Douaroniezh
bs:Geografija
ca:Geografia
cbk-zam:Geografia
ceb:Heyograpiya
ckb:جوگرافیا
co:Geografia
cs:Geografie
csb:Geògrafijô
cv:Географи
cy:Daearyddiaeth
da:Geografi
de:Geographie
dv:ޖުޣުރާފީ
en:Geography
eo:Geografio
es:Geografía
et:Geograafia
eu:Geografia
ext:Geografia
fa:جغرافیا
fi:Maantiede
fiu-vro:Maatiidüs
fo:Landafrøði
fr:Géographie
frp:G·eografia
frr:Geografii
fur:Gjeografie
fy:Geografy
ga:Tíreolaíocht
gan:地理學
gd:Cruinn-eòlas
gl:Xeografía
gn:Tetãnguéra
gu:ભૂગોળ
gv:Çheer-oaylleeaght
he:גאוגרפיה
hi:भूगोल
hif:Jagha
hr:Geografija
hsb:Geografija
ht:Jewografi
hu:Földrajztudomány
hy:Աշխարհագրություն
ia:Geographia
id:Geografi
ie:Geografie
ig:Ọmúmú-àlà
ilo:Heograpia
io:Geografio
is:Landfræði
it:Geografia
iu:ᓄᓇᐅᔪᖅ/nunaujuq
ja:地理学
jbo:tutske
jv:Géografi
ka:გეოგრაფია
kab:Tarakalt
kbd:Хэкумэтх
kk:География
kl:Nunalerineq
km:ភូមិវិទ្យា
kn:ಭೂಗೋಳ ಶಾಸ್ತ್ರ
ko:지리학
krc:География
ku:Erdnîgarî
kv:География
kw:Dorydhyeth
ky:География
la:Geographia
lad:Jeografiya
lb:Geographie
lez:География
li:Geografie
lij:Geografia
lmo:Geugrafia
ln:Mambí ma mabelé
lo:ພູມສາດ
lt:Geografija
lv:Ģeogrāfija
map-bms:Geografi
mdf:Географие
mg:Jeografia
mhr:Географий
mk:Географија
ml:ഭൂമിശാസ്ത്രം
mn:Газарзүй
mr:भूगोल
ms:Geografi
mt:Ġeografija
mwl:Geografie
my:ပထဝီဝင်
mzn:جوغرافی
nah:Cemānāhuacāyōtl
nds:Geografie
nds-nl:Geografie
ne:भूगोल
new:भूगोल
nl:Aardrijkskunde
nn:Geografi
no:Geografi
nov:Geografia
nrm:Géographie
nso:Thutafase
oc:Geografia
os:Географи
pa:ਭੂਗੋਲ
pam:Geografia
pcd:Géografie
pl:Geografia
pnb:جغرافیہ
pnt:Γεωγραφίαν
ps:ځمکپوهنه
pt:Geografia
qu:Allpa saywachi
rm:Geografia
rmy:Phuvipen
ro:Geografie
roa-tara:Sciugrafije
ru:География
rue:Ґеоґрафія
sa:भूगोल
sah:География
sc:Geografia
scn:Giugrafìa
sco:Geografie
sh:Zemljopis
si:භූගෝල විද්‍යාව
simple:Geography
sk:Geografia
sl:Geografija
sm:Geography
sn:Taranyika
so:Juquraafi
sq:Gjeografia
sr:Географија
ss:Temhlaba
su:Géografi
sv:Geografi
sw:Jiografia
ta:புவியியல்
te:భూగోళ శాస్త్రము
tg:Ҷуғрофия
th:ภูมิศาสตร์
tk:Geografiýa
tl:Heograpiya
tpi:Save long giraun
tr:Coğrafya
ts:Ntivo-mbangu
tt:География
uk:Географія
ur:جغرافیہ
uz:Geografiya
vec:Giografia
vep:Geografii
vi:Địa lý
vo:Taledav
wa:Djeyografeye
war:Heyograpiya
wo:Melosuuf
wuu:地理学
yi:געאגראפיע
yo:Jẹ́ọ́gráfì
zea:Heografie
zh:地理学
zh-classical:地理學
zh-min-nan:Tē-lí-ha̍k
zh-yue:地理</text>
Ggia (συζήτηση) 13:03, 27 Νοεμβρίου 2012 (UTC)
Το ιδανικό είναι να μην υπάρχουν html tags μέσα στον wikicode. Ειδικά τέτοιες περιπτώσεις χρήζουν αντικατάστασης γιατί δυσκολεύουν τη μετατροπή της σελίδας από wikicode σε html και μπορεί να έχουν και απρόσμενα αποτελέσματα σε παλιούς browsers. -- Magioladitis (συζήτηση) 14:14, 27 Νοεμβρίου 2012 (UTC)
replies: text: -- Magioladitis (συζήτηση) 14:15, 27 Νοεμβρίου 2012 (UTC)
replies: text: :Ωραία να βάλουμε τότε κάποια κανονική έκφραση που να αφαιρεί το  σε 2 \n (newlines) στον πίνακα;

text: :Όσο για την μετατροπή του dump σε κείμενο δοκιμάζω το εργαλείο Wikipedia Extractor γραμμένο σε python το οποίο έχει χρησιμοποιηθεί στην Ιταλική. Ggia (συζήτηση) 14:30, 27 Νοεμβρίου 2012 (UTC)

text: :Έβαλα την κανονική έκφραση \s*<[bB][Rr]\s*/>\s*  η οποία βρίσκει το  αλλά και παραλλαγές αυτού (όπως <Br /> ή  κλπ). Γιατί στην αγγλική σελίδα δεν υπάρχουν regexes για αφαίρεση κώδικα html;  Ggia (συζήτηση) 15:24, 27 Νοεμβρίου 2012 (UTC)

text: :Το AWB παρέχει κάποια για ,,, tags. Πρόσφατα ξεκίνησε από τους χρήστες και η πλήρης απαλοιφή του  και κάποιον άλλων. -- Magioladitis (συζήτηση) 18:36, 27 Νοεμβρίου 2012 (UTC)
thread_title:  Εξαγωγή κειμένου από το dump