Claude Shannon

Claude Elwood Shannon (30. aprill 1916 Petoskey, Michigan – 24. veebruar 2001) oli ameerika matemaatik, elektroonik ja kodeerija, keda peetakse informatsiooniteooria isaks. Shannon pani oma 1948. aastal ilmunud artikliga aluse infoteooriale. Samuti on ta tuntud digitaalarvuti ja -skeemide disainiteooria rajamise poolest. Nimelt kirjutas ta 1937. aastal 21-aastase Massachusettsi Tehnoloogiainstituudi (MIT) magistrandina artikli, mis näitas, et elektroonikaseadmed suudavad kahendmuutujate abiga sooritada mistahes loogika- või arvulise tehte. Tööga koodimurdmise ja turvalise telekommunikatsiooni vallas andis Shannon panuse riigikaitse krüptoanalüüsi teise maailmasõja ajal. Shannon sündis Michiganis Petoskey linnas ja kasvas üles Michiganis Gaylordi linnas. Tema isa Claude seenior (1862–1934), varajaste New Jersey asunike järeltulija, oli ärimees ja testamendikohtunik. Shannoni ema Mabel Wolf Shannon (1890–1945) oli keeleõpetaja ja mitu aastat Gaylordi Keskkooli direktor. Suurema osa lapsepõlvest veetis poiss Gaylordis, kus ta 1932. aastal lõpetas ka keskkooli. Shannon tundis huvi mehaanika- ja elektriseadmete vastu. Talle sobisid kõige paremini loodusteadused ja matemaatika. Kodus ehitas ta mitmesuguseid seadmeid, näiteks mudellennukeid, raadio teel juhitava paadi ja oma 800 meetri kaugusel elava sõbra koduga ühendatud juhtmevaba telegraafisüsteemi. Hiljem töötas ta Western Unioni jooksupoisina. Tema lapsepõlvekangelane oli Thomas Alva Edison. Hiljem selgus, et Edison ja Shannon on kauged sugulased. Nad mõlemad olid John Ogdeni (1609–1682) järeltulijad. Ogden on paljude silmapaistvate inimeste esivanem. Shannon oli apoliitiline ateist. Shannon astus 1932. aastal Michigani Ülikooli, kus ta võttis kursusi, mis tutvustasid George Boole'i elutööd. 1936. aastal lõpetas ta ülikooli bakalaureusekraadiga kahel alal: elektroonikas ja matemaatikas. Ta läks edasi Massachusettsi Tehnoloogiainstituuti (MIT) elektroonika erialale, kus ta aitas ehitada Vannevar Bushi diferentsiaalanalüsaatorit, varajast analoogarvutit. Diferentsiaalanalüsaatori keerulisi konkreetseks otstarbeks mõeldud vooluskeeme uurides sai Shannon aru, et Boole'i ideed olid suurel määral rakendatavad ka mujal. 1937. aastal avalikustati Shannoni magistritöö "Sümboolne relee- ja lülitusskeemide analüüs" (A Symbolic Analysis of Relay and Switching Circuits). Töö hakkas tuntust koguma teise maailmasõja ajal ning oli üldtuntud pärast seda. Tänapäevalgi on see põhimõtteliselt kõikide digitaalskeemide tehnilise lahenduse aluseks. Shannoni tugev teooria tõrjus varasemad mittepaindlikud ad hoc meetodid välja. Shannon tõestas, et kahendsüsteemaritmeetikat saab kasutada selleks, et lihtsustada toona telefoniühendustes kasutatud elektromehaaniliste releede järjestust. Viimast mõtet laiendas ta tõestusega, et releede järjestusi saab kasutada ka kahendalgebra tehete lahendamiseks. Lomonossovi-nimelises Moskva Riiklikus Ülikoolis õppinud Viktor Šestakov mõtles välja Boole'i loogikal põhineva elektrilülitite süsteemi juba 1935. aastal, kuid see avaldati Shannonist hiljem, 1941. aastal. Digitaalarvutite tööpõhimõte seisnebki elektrilülitite võimel sooritada loogikatehteid. Vannevar Bush pakkus edust julgustust saanud Shannonile välja, et ta võiks Cold Spring Harbori laboris aidata välja töötada sarnaseid matemaatilisi seoseid Gregor Mendeli geneetika väljendamiseks. Uuring viis selleni, et Shannon kirjutas 1940. aastal MIT-s filosoofia alal doktoritöö "Algebra teoreetilise geneetika jaoks" (An Algebra for Theoretical Genetics). Kui Shannon sai 1940. aastal New Jerseys Princetonis oleva teadusinstituudi liikmeks, oli tal hea võimalus ideid vahetada mõjukate teadlaste ja matemaatikutega, näiteks Hermann Weyli ja John von Neumannga. Ta puutus aeg-ajalt kokku ka Albert Einsteini ja Kurt Gödeliga. Shannon töötas vabalt mitmel alal, mis arvatavasti aitas tal hiljem infoteooriat arendada. Shannon läks teise maailmasõja ajal tööle Bell Labsi, et arendada tulejuhtimissüsteeme ja krüptograafiat. Seal tutvus ta Bettyga, kellega abiellus 1949. aastal. Shannonile omistatakse signaaligraafi leiutamine aastal 1942. Shannon puutus 1943. aasta alguses kaks kuud kokku Briti krüptoanalüüsija Alan Turingiga. Turing oli saadetud Washingtoni, et jagada USA mereväega krüptoanalüüsi meetodeid, mida tema kodumaal kasutati. Ta huvitus ka kõne krüpteerimisest, mille tõttu viibis Bell Labsis. Shannon ja Turing kohtusid sööklas teejoomise ajal. Turing tutvustas Shannonile 1936. aasta artiklis kirjeldatud universaalset Turingi masinat. Shannon oli vaimustuses, kuna paljud neist ideedest täiendasid ja toetasid tema enda omi. Kui sõda lõppemas oli, tahtis varsti laiali minev riigikaitseuuringute komitee saada kokkuvõtte tehnikaaruannetest. Köites tulejuhtimisest oli essee "Andmete silumine ja ennustamine tulejuhtimissüsteemides" (Data Smoothing and Prediction in Fire-Control Systems), mille kaasautorid olid Shannon, Ralph Beebe Blackman ja Hendrik Wade Bode. Selles essees käsitleti probleeme andmete ja signaalide töötlemise seisukohast ning see kuulutas ette infoajastu tulekut. Shannoni tööd krüptograafia kohta olid veelgi enam seotud tema hilisemate väljaannetega kommunikatsiooniteooriast. 1945. aasta septembris, sõja lõppedes, kirjutas ta Bell Labsi jaoks salastatud memorandumi "Krüptograafia matemaatiline teooria" (A Mathematical Theory of Cryptography). Avalik versioon pealkirjaga "Kommunikatsiooniteooria salastussüsteemides" (Communication Theory of Secrecy Systems) anti välja aastal 1949. Artikkel võttis paljud 1948. aasta artiklis "Matemaatiline kommunikatsiooniteooria" (A Mathematical Theory of Communication) esinenud ideed ja matemaatilised sõnastused kokku. Shannon mainis, et sõjaaegsed uuringud kommunikatsiooniteooria ja krüptograafia kohta arenesid samaaegselt ning et nad olevat nii tihedalt seotud, et kahte teineteisest lahutada ei saa. Eelmainitud salastatud raporti alguses olevas allmärkuses ütles Shannon, et kavatseb neid mõtteid arendada veel tulevases memorandumis infoedastuse kohta. Bell Labsis tõestas Shannon, et ühe korra kasutatava võtmega (inglise keeles one-time pad) krüpteerimine on murdmatu. See uuring tehti avalikuks 1949. aasta oktoobris. Ta tõestas sedagi, et ükskõik milline murdmatu krüpteerimissüsteem peab olema nende omadustega, mis on ühekordse võtmega süsteemilgi: võti on täielikult juhuslik, sama suur kui lihttekst, mitte iialgi eelnevalt kasutatud ei osaliselt ega täielikult ja peab olema salastatud. Hiljem murdis riiklik julgeolekuagentuur (NSA) osaliselt Nõukogude Liidu koodi, mis oletatavalt kasutas ühekordse võtmega süsteemi. Hiljem selgus aga, et põhjus oli süsteemi vales kasutamises. NSV Liidu tehnikud kasutasid mõnikord ühesugust võtit mitu korda, mida ameerika krüptoanalüütikud märkasid. 1948. aastal ilmus lubatud memorandum pealkirjaga "Matemaatiline kommunikatsiooniteooria" (A Mathematical Theory of Communication). See avaldati kahe artiklina: üks juulis ja teine oktoobris. Artiklid kirjeldasid peamiselt seda, kuidas kõige paremini saatja edastatavat infot kodeerida. Selles fundamentaalses teoses kasutas ta elemente Norbert Wieneri välja töötatud tõenäosusteooriast, mis tol ajal ei olnud veel kommunikatsiooniteoorias laialdaselt kasutusel. Shannon töötas välja informatsioonientroopia, sõnumi määramatuse kirjeldamise mõõdu, algatades sellega informatsiooniteooria ala. Warren Weaveriga kahasse kirjutatud raamat "Matemaatiline kommunikatsiooniteooria" (The Mathematical Theory of Communication) sisaldab Shannoni 1948. aasta artiklit ja selle Weaveri-poolset populariseeringut, mis sobib ka mittespetsialistile. Weaver tõi välja, et kommunikatsiooniteoorias ei kirjelda sõna "informatsioon" seda, mida keegi ütleb, vaid seda, mida ta öelda saaks. See tähendab, et sõnumit valides on informatsioon isiku valikuvabaduse näitaja. Shannoni mõtted on temapoolse ülelugemisega populariseeritud ka John Robinson Pierce'i teoses "Sümbolid, signaalid ja müra" (Symbols, Signals, and Noise). 1951. aastal sai informatsiooniteooria panus loomuliku keele töötlemisse ja arvutuslingvistikasse veelgi selgemaks tänu tema artiklile "Kirjaliku inglise keele ennustamine ja entroopia" (Prediction and Entropy of Printed English), mis tõi välja inglise keele statistika alumise ja ülemise entroopiapiiri ning pani aluse statistikal põhinevale keeleanalüüsile. Lisaks tõestas ta, et kui tühikut lugeda tähestiku täiendavaks täheks, siis keele ettemääramatus väheneb. See idee loob kultuurilise tava ja tõenäosusliku tunnetuse vahele seose. Teine märkimisväärne artikkel, mis oli kirjutatud sõja ajal ja oli seni salastatud, avaldati 1949. aastal pealkirjaga "Salastussüsteemide kommunikatsiooniteooria" (Communication Theory of Secrecy Systems). Shannon tõestas selles artiklis, et kõik murdmatud kodeeringud peavad olema samade tunnustega kui ühekordselt kasutatava võtmega krüpteerimisviisil. Talle omistatakse ka valimi moodustamise teooria loomine, mis oli vajalik 1960. aastatel ja hiljem telekommunikatsioonis analoogülekandesüsteemidelt digitaalülekandesüsteemidele üleminekuks. Shannon sai 1956. aastal Massachusettsi Tehnoloogiainstituudi professoriks. Akadeemilise töö kõrvalt huvitus Shannon žongleerimisest, üherattalise jalgrattaga sõitmisest ja malest. Ta leiutas palju seadmeid, näiteks rakettidega lendavad kettad, motoriseeritud hüppepulk või teadusnäituse jaoks mõeldud tuldsülgav trompet. Üks ta humoorikamatest leiutistest oli tema laual olev karp, mis kandis nime "ülim masin" (inglise keeles ultimate machine) ja põhines Marvin Minsky ideel. Sellel seadmel oli külje peal vaid üks lüliti. Seda lülitades avanes karbil kaas ja sealt tulnud mehaaniline käsi lükkas lüliti tagasi ja läks karpi. YouTube'is ja Thingverse'is on inimestel ülima masina vastu uus huvi tekkinud. Lisaks sellele ehitas ta seadme, mis suutis lahendada Rubiku kuubiku. Shannon töötas välja digitaalarvuti Minivac 601, mis pidi ärimeestele õpetama, kuidas arvutid töötavad. Seda müüdi alates aastast 1961. Teda peetakse koos Edward Thorpiga esimese kantava arvuti leiutajaks. Seda arvutit sai kasutada ruletis võiduvõimaluse väljaarvutamiseks. Shannon läks aastal 1956 Massachusettsi Tehnoloogiainstituuti ja asus tööle sealses elektroonikalaboris. Ta jäi sinna koguni 1978. aastani. Aastal 2001 tähistati tema saavutusi ning seoses sellega püstitati Shannoni auks kuus Eugene Daubi skulptuuri: Michigani Ülikooli, Massachusettsi Tehnoloogiainstituuti, Gaylordi linna Michiganis, California Ülikooli San Diegos, Bell Labsi ja AT&T Shannon Labi. Üks osa jagunenud Belli süsteemist nimetati tema auks Shannoni laboriks. Neil Sloane, suure osa Shannoni artiklikollektsiooni toimetaja 1993. aastal, väitis, et kommunikatsiooniteooria (tänapäeval tuntud kui informatsiooniteooria) perspektiiv on digitaalrevolutsiooni alus ja et iga mikroprotsessorit sisaldav seade on idee poolest Shannoni 1948. aasta väljaande tulemus. Ühtlasi nimetas ta Shannonit sajandi vägevaimaks meheks ja digitaalrevolutsiooni algatajaks ning ütles, et ilma temata oleksid paljud tänapäeval tuntud asjad olemata. Ühik "shannon" (biti sünonüüm) on nimetatud Claude Shannoni järgi. Shannonil oli kolm last: Robert James, Andrew Moore ja Margarita Shannon. Vanem poeg Robert suri 1998. aastal 45 aasta vanuselt. Elu lõpupoole arenes Claude Shannonil Alzheimeri tõbi ja ta suri aastal 2001. Oma viimased aastad veetis ta Massachusettsis hooldekodus, mäletamata oma seniseid saavutusi. Shannoni nekroloogis väitis tema naine Mary, et kui tal poleks olnud Alzheimeri tõbe, oleksid tema saavutused teda ennastki hämmastanud. Theseus oli 1950. aastal loodud magnetiline hiir, mis suutis releeahela abil liikuda 25 ruudust koosnevas labürindis, ja sellel olid pärishiire mõõtmed. Labürinti sai ümber seada. Hiire eesmärk oli käigud läbi otsida, et leida teatud ese. Kui hiir oli juba labürindiga tuttav, võis teda teise kohta tõsta ja tänu eelnevale kogemusele oskas ta minna otse eseme juurde. Hiir oli programmeeritud nii, et võõrasse punkti paigutatuna hakkas ta käike läbi otsima, kuni leidis tuttava koha, minnes seejärel kohe sihtmärgi juurde ja talletades uut kogemust. Näib, et Shannoni hiir oli esimene selletaoline tehislik õppevõimeline mehhanism. Shannon avaldas aastal 1950 artikli "Arvuti maletamiseks programmeerimine" ("Programming a Computer for Playing Chess"), milles ta selgitas, kuidas saab arvutit arvestataval tasemel malet mängima panna. Tema väljamõeldud algoritm on minimaksiprotseduur, mis põhineb malendite paigutuse hindamisel. Shannon tõi näiteks hindamisfunktsiooni, kus mustade malendite positsiooni väärtusest lahutati valgete oma. Eri malendite tugevust hinnati levinud punktisuhte järgi (1 punkt etturi eest, 3 ratsu või oda eest, 5 vankri eest ja 9 lipu eest). Tema hindamisviis võttis arvesse ka malendite positsiooni, näiteks iga ettur, mis oli teise etturiga samas rivis, ei olnud kõnealuse etturi ohtupanekuta liigutatav või oli isoleeritud, andis pool punkti. Teine positsiooniga seotud tegur funktsioonis oli liikuvus, mis andis igale malendile 0,1 lisapunkti iga käigu kohta, mida sellega teha sai. Lisaks andis ta kuningale väärtuse 200, kuna kuninga kaotus tähendaks matti. Shannoni sõnul on see hindamisfunktsioon vaid näidis. Näiteks ei oleks ühes rivis olevatel või isoleeritud etturitel väärtust, mis on ebareaalne. Shannon ja tema naine Betty käisid koos Edward Thorpiga aeg-ajalt Las Vegases nädalavahetust veetmas. Füüsik John L. Kelly juunioriga väljatöötatud infoteoorial põhinevate meetodite abil mängisid nad seal väga edukalt blackjacki. Suurima-vähim meetodina tuntud mänguviis töötab nii, et ilmunud kaartide põhjal liidetakse kas 1, 0 või −1. Shannon ja Thorp leiutasid ka väikese peidetava arvuti, mis aitas neil hasartmänge mängides võiduvõimalust välja arvutada. William Poundstone kirjutab ühes oma raamatus, et Shannon ja Thorp teenisid mängurlusega väga palju raha, väide, mida toetab oma kirjutistes ka Elwyn Borlekamp, Kelly assistent aastatel 1960–1962. Sama teooria abil teenisid Shannon ja Thorp aktsiaturul veel rohkem raha. Claude Shannoni kaardilugemisviis seletati lahti Ben Mezrichi raamatus "Bringing Down the House", mis räägib MIT blackjacki-meeskonnast; raamat sai 2003. aastal bestselleriks. Raamatu põhjal tehti 2008. aastal ka film "21". 1991 – valiti Londoni Kuningliku Seltsi välisliikmeks James, Ioan (2009). "Claude Elwood Shannon 30 April 1916 — 24 February 2001". Biographical Memoirs of Fellows of the Royal Society 55 (inglise keeles). Lk 257–265.{{netiviide}}: CS1 hooldus: tundmatu keel (link) "Bell Labs Advances Intelligent Networks" (inglise keeles). 1. november 2006. Originaali arhiivikoopia seisuga 22. juuli 2012.{{netiviide}}: CS1 hooldus: tundmatu keel (link) William Poundstone (2005). Fortune's Formula: The Untold Story of the Scientific Betting System That Beat the Casinos and Wall Street. Hill & Wang. ISBN 978-0-8090-4599-0. "Claude Shannon" (inglise keeles). Vaadatud 10.09.2014.{{netiviide}}: CS1 hooldus: tundmatu keel (link) MIT Professor Claude Shannon dies; was founder of digital communications, MIT — News office, Cambridge, Massachusetts, 27.02.2001 Sloane, N.J.A.; Wyner, Aaron D. (1993). Claude E. Shannon: Collected Papers. IEEE Publications. ISBN 0-7803-0434-9.{{raamatuviide}}: CS1 hooldus: mitu nime: autorite loend (link) Poundstone, William (2010). Fortune's Formula: The Untold Story of the Scientific Betting System. Macmillan. Lk 18. ISBN 9780374707088. Price, Robert (1982). "Claude E. Shannon, an oral history". IEEE Global History Network. IEEE. Vaadatud 14.07.2011. Shannon, Claude E. (10.08.1937). "A Symbolic Analysis of Relay and Switching Circuits" (PDF) (inglise keeles).{{netiviide}}: CS1 hooldus: tundmatu keel (link) Shannon, Claude E. (1940). "An algebra for theoretical genetics". Guizzo, Erico Marui (2003). "The Essential Message: Claude Shannon and the Making of Information Theory" (PDF) (inglise keeles).{{netiviide}}: CS1 hooldus: tundmatu keel (link) "Shannon, Claude Elwood (1916–2001)" (inglise keeles).{{netiviide}}: CS1 hooldus: tundmatu keel (link) Okrent, Howard; McNamee, Lawrence P. (1970). "3. 3 Flowgraph Theory". NASAP-70 User's and Programmer's manual (PDF). Los Angeles, California. Lk 3–9. Hodges, Andrew (1992). Alan Turing: The Enigma. London: Vintage. Lk 243–252. ISBN 978-0-09-911641-7. Turing, A.M. (1936). "On Computable Numbers, with an Application to the Entscheidungsproblem". Proceedings of the London Mathematical Society. 2 (avaldatud 1937). 42: 230–65. DOI:10.1112/plms/s2-42.1.230. ISSN 0024-6115. Turing, A.M. (1938). "On Computable Numbers, with an Application to the Entscheidungsproblem: A correction". Proceedings of the London Mathematical Society. 2 (avaldatud 1937). 43 (6): 544–6. DOI:10.1112/plms/s2-43.6.544. Mindell, David A. (2004). Between Human and Machine: Feedback, Control, and Computing Before Cybernetics. Johns Hopkins University Press. Lk 319–320. ISBN 0-8018-8057-2. Kahn, David (1996). The Codebreakers. Simon and Schuster. Lk 743–751. ISBN 0-684-83130-9. Shannon, Claude (1949). "Communication Theory of Secrecy Systems". Bell System Technical Journal. 28 (4): 656–715. Thorp, Edward O. "The Invention of the First Wearable Computer" (PDF) (inglise keeles). Originaali (PDF) arhiivikoopia seisuga 28. mai 2008. Vaadatud 28. jaanuaril 2016.{{netiviide}}: CS1 hooldus: tundmatu keel (link) "Claude E. Shannon Statue Dedications" (inglise keeles).{{netiviide}}: CS1 hooldus: tundmatu keel (link) Shannon, C.E. (1948). "A mathematical theory of communication". Bell System Technical Journal. 27: 379–423, 623–656. Coughlin, Kevin (veebruar 2001). "Bell Labs digital guru dead at 84 — Pioneer scientist led high-tech revolution". The Star-Ledger. "Claude Elwood Shannon" (inglise keeles). Originaali arhiivikoopia seisuga 20. märts 2013. Vaadatud 28. jaanuaril 2016.{{netiviide}}: CS1 hooldus: tundmatu keel (link) Ekbia, Hamid Reza (2008). Artificial dreams: the quest for non-biological intelligence. Cambridge University Press. Lk 46. ISBN 978-0-521-87867-8. Poundstone, William. "John Kelly". Bennett, William. "The Odds of Gambling" (inglise keeles). OCB. Vaadatud 21.04.2014.{{netiviide}}: CS1 hooldus: tundmatu keel (link) Vancura, Olaf (1998). Knock-Out Blackjack: The Easiest Card-Counting System Ever Devised. Huntington Press Inc. Lk 18. ISBN 9780929712314. "Edward Thorp – Inventor of Card Counting". lolblackjack.com (inglise keeles). Vaadatud 21.04.2014.{{netiviide}}: CS1 hooldus: tundmatu keel (link) William Poundstone'i veebisait Claude Shannoni artiklite register