Claude Shannon

Claude Elwood Shannon (30. aprill 1916 Petoskey, Michigan – 24. veebruar 2001) oli ameerika matemaatik, elektroonik ja kodeerija, keda tuntakse kui informatsiooniteooria isa.
Shannon on kuulus 1948. aastal avaldatud artikliga infoteooriale aluse panemise poolest. Samuti on ta tuntud digitaalarvuti ja -skeemide disainiteooria rajamise poolest. Nimelt kirjutas ta 1937. aastal 21-aastase Massachusettsi Tehnoloogiainstituudi (MIT) magistrandina artikli, mis näitas, et elektroonikaseadmed suudavad kahendmuutujate abiga sooritada mistahes loogika- või arvulise tehte. Tööga koodimurdmise ja turvalise telekommunikatsiooni vallas andis Shannon panuse riigikaitse krüptoanalüüsi teise maailmasõja ajal.

Elulugu

Shannon sündis Michiganis Petoskey linnas ja kasvas üles Michiganis Gaylordi linnas. Tema isa Claude seenior (1862–1934), varajaste New Jersey asunike järeltulija, oli ärimees ja testamendikohtunik. Shannoni ema Mabel Wolf Shannon (1890–1945) oli keeleõpetaja ja mitu aastat Gaylordi Keskkooli direktor. Suurema osa oma esimesest 16 eluaastast veetis poiss Gaylordis, kus ta 1932. aastal lõpetas keskkooli. Shannon tundis huvi mehaanika- ja elektriseadmete vastu. Talle sobisid kõige paremini loodusteadused ja matemaatika ning kodus ehitas ta mitmesuguseid seadmeid, näiteks mudellennukeid, raadio teel juhitava paadi ja oma 800 meetri kaugusel elava sõbra koduga ühendatud juhtmevaba telegraafisüsteemi. Hiljem töötas ta Western Unioni jooksupoisina.
Tema lapsepõlvekangelane oli Thomas Alva Edison. Hiljem selgus, et Edison ja Shannon on kauged sugulased. Nad mõlemad olid John Ogdeni (1609–1682) järeltulijad. Ogden on paljude silmapaistvate inimeste esivanem.
Shannon oli apoliitiline ateist.

Boole'i teooria rakendused

Shannon astus 1932. aastal Michigani Ülikooli, kus ta võttis kursusi, mis tutvustasid George Boole'i elutööd. 1936. aastal lõpetas ta ülikooli bakalaureusekraadiga kahel alal: elektroonikas ja matemaatikas. Ta läks edasi Massachusettsi Tehnoloogiainstituuti (MIT) elektroonika erialale, kus ta aitas ehitada Vannevar Bushi diferentsiaalanalüsaatorit, varajast analoogarvutit.
Diferentsiaalanalüsaatori keerulisi konkreetseks otstarbeks mõeldud vooluskeeme uurides sai Shannon aru, et Boole'i ideed olid suurel määral rakendatavad. Tema 1937. aasta magistritööl "Sümboolne relee- ja lülitusskeemide analüüs" ("A Symbolic Analysis of Relay and Switching Circuits") põhinev artikkel avaldati ajakirja "Transactions of the American Institute of Electrical Engineers" 1938. aasta väljaandes. Shannon sai tänu sellele 1939. aastal ameerika inseneride Alfred Noble'i preemia (mitte segi ajada Nobeli auhinnaga). Howard Gardner nimetas Shannoni magistritööd arvatavasti sajandi tähtsaimaks ja kuulsaimaks magistritööks.
Lomonossovi-nimelises Moskva Riiklikus Ülikoolis õppinud Viktor Šestakov mõtles välja Boole'i loogikal põhineva elektrilülitite süsteemi juba 1935. aastal, kuid see avaldati Shannonist hiljem, 1941. aastal.
Shannon tõestas, et kahendsüsteemi aritmeetikat saab kasutada selleks, et lihtsustada tol hetkel telefoniühendustes kasutatud elektromehaaniliste releede järjestust. Viimast mõtet laiendas ta sellele, et releede järjestusi saab kasutada ka kahendalgebra tehete lahendamiseks, mille ta samuti ära tõestas.
Digitaalarvutite tööpõhimõte seisnebki elektrilülitite võimel sooritada loogikatehteid. Shannoni töö sai teise maailmasõja ajal ja hiljem elektroonikute seas laialdaselt tuntuks ja sellest sai digitaalskeemide disaini alus. Tugev teooria Shannoni loomingu taga tõrjus varasemad mittepaindlikud meetodid välja.
Vannevar Bush pakkus edust julgustust saanud Shannonile välja, et ta võiks Cold Spring Harbori laboratooriumis aidata välja töötada sarnaseid matemaatilisi seoseid Gregor Mendeli geneetika väljendamiseks. Uuring viis selleni, et Shannon kirjutas 1940. aastal MIT-s filosoofia alal doktoritöö "Algebra teoreetilise geneetika jaoks" (An Algebra for Theoretical Genetics).
Kui Shannon sai 1940. aastal New Jerseys Princetonis oleva teadusinstituudi liikmeks, oli tal hea võimalus ideid vahetada mõjukate teadlaste ja matemaatikutega, näiteks Hermann Weyli ja John von Neumannga. Ta puutus aeg-ajalt kokku ka Albert Einsteini ja Kurt Gödeliga. Shannon töötas vabalt mitmel alal, mis arvatavasti aitas tal hiljem infoteooriat arendada.

Sõjaaegsed uuringud

Shannon liitus teise maailmasõja ajal Belli laboratooriumiga, et arendada tulejuhtimissüsteeme ja krüptograafiat.
Seal tutvus ta oma tulevase naise Bettyga ja nad abiellusid 1949. aastal.
Shannonile omistatakse signaaligraafi leiutamine aastal 1942.
Shannon puutus 1943. aasta alguses kaks kuud kokku Briti krüptoanalüüsija Alan Turinguga. Turing oli saadetud Washingtoni, et jagada USA mereväega krüptoanalüüsi meetodeid, mida tema kodumaal kasutati. Ta huvitus ka kõne krüpteerimisest, mille tõttu viibis Belli laboratooriumis. Shannon ja Turing kohtusid sööklas teejoomise ajal. Turing tutvustas Shannonile 1936. aasta artiklis kirjeldatud universaalset Turingi masinat. Shannon oli vaimustuses, kuna paljud neist ideedest täiendasid ja toetasid tema enda omi.
Kui sõda lõppemas oli, tahtis varsti laiali minev riigikaitseuuringute komitee saada kokkuvõtet tehnikaaruannetest. Köites tulejuhtimisest oli essee "Andmete silumine ja ennustamine tulejuhtimissüsteemides" (Data Smoothing and Prediction in Fire-Control Systems), mille kaasautorid olid Shannon, Ralph Beebe Blackman ja Hendrik Wade Bode. Selles essees käsitleti probleeme andmete ja signaalide töötlemise seisukohast ning see kuulutas ette infoajastu tulekut.
Shannoni tööd krüptograafia kohta olid veelgi enam seotud tema hilisemate väljaannetega kommunikatsiooniteooriast. 1945. aasta septembris, sõja lõppedes, kirjutas ta Belli laboratooriumi jaoks salastatud memorandumi "Krüptograafia matemaatiline teooria" (A Mathematical Theory of Cryptography). Avalik versioon pealkirjaga "Kommunikatsiooniteooria salastussüsteemides" (Communication Theory of Secrecy Systems) anti välja aastal 1949. Artikkel võttis paljud 1948. aasta artiklis "Matemaatiline kommunikatsiooniteooria" (A Mathematical Theory of Communication) esinenud ideed ja matemaatilised sõnastused kokku. Shannon mainis, et sõjaaegsed uuringud kommunikatsiooniteooria ja krüptograafia kohta arenesid samaaegselt ning et nad olevat nii tihedalt seotud, et kahte teineteisest lahutada ei saa. Eelmainitud salastatud raporti alguses olevas allmärkuses ütles Shannon, et kavatseb neid mõtteid arendada veel tulevases memorandumis infoedastuse kohta.
Belli laboratooriumis tõestas Shannon, et ühe korra kasutatava võtmega (inglise keeles one-time pad) krüpteerimine on murdmatu. See uuring tehti avalikuks 1949. aasta oktoobris. Ta tõestas sedagi, et ükskõik milline murdmatu krüpteerimissüsteem peab olema nende omadustega, mis on ühekordse võtmega süsteemilgi: võti on täielikult juhuslik, sama suur kui lihttekst, mitte iialgi eelnevalt kasutatud ei osaliselt ega täielikult ja peab olema salastatud.
Hiljem murdis riiklik julgeolekuagentuur (NSA) osaliselt Nõukogude Liidu koodi, mis oletatavalt kasutas ühekordse võtmega süsteemi. Hiljem selgus aga, et põhjus oli süsteemi vales kasutamises. NSV Liidu tehnikud kasutasid mõnikord ühesugust võtit mitu korda, mida ameerika krüptoanalüütikud märkasid.

Sõjajärgne panus

1948. aastal ilmus lubatud memorandum pealkirjaga "Matemaatiline kommunikatsiooniteooria" (A Mathematical Theory of Communication). See avaldati kahe artiklina: üks juulis ja teine oktoobris. Artiklid kirjeldasid peamiselt seda, kuidas kõige paremini saatja edastatavat infot kodeerida. Selles fundamentaalses teoses kasutas ta elemente Norbert Wieneri väljatöötatud tõenäosusteooriast, mis tol ajal ei olnud veel kommunikatsiooniteoorias laialdaselt kasutusel. Shannon töötas välja informatsioonientroopia, sõnumi määramatuse kirjeldamise mõõdu, algatades sellega informatsiooniteooria ala.
Warren Weaveriga kahasse kirjutatud raamat "Matemaatiline kommunikatsiooniteooria" (The Mathematical Theory of Communication) sisaldab Shannoni 1948. aasta artiklit ja selle Weaveri-poolset populariseeringut, mis sobib ka mittespetsialistile. Weaver tõi välja, et kommunikatsiooniteoorias ei kirjelda sõna "informatsioon" seda, mida keegi ütleb, vaid seda, mida ta öelda saaks. See tähendab, et sõnumit valides on informatsioon isiku valikuvabaduse näitaja. Shannoni mõtted on temapoolse ülelugemisega populariseeritud ka John Robinson Pierce'i teoses "Sümbolid, signaalid ja müra" (Symbols, Signals, and Noise).
1951. aastal sai informatsiooniteooria panus loomuliku keele töötlemisse ja arvutuslingvistikasse veelgi selgemaks tänu tema artiklile "Kirjaliku inglise keele ennustamine ja entroopia" (Prediction and Entropy of Printed English), mis tõi välja inglise keele statistika alumise ja ülemise entroopiapiiri ning pani aluse statistikal põhinevale keeleanalüüsile. Lisaks tõestas ta, et kui tühikut lugeda tähestiku täiendavaks täheks, siis keele ettemääramatus väheneb. See idee loob kultuurilise tava ja tõenäosusliku tunnetuse vahele seose.
Teine märkimisväärne artikkel, mis oli kirjutatud sõja ajal ja oli seni salastatud, avaldati 1949. aastal pealkirjaga "Salastussüsteemide kommunikatsiooniteooria" (Communication Theory of Secrecy Systems). Shannon tõestas selles artiklis, et kõik murdmatud kodeeringud peavad olema samude tunnustega kui ühekordselt kasutatava võtmega krüpteerimisviisil. Talle omistatakse ka valimi moodustamise teooria loomine, mis oli vajalik 1960ndatel ja hiljem telekommunikatsioonis analoogülekandesüsteemidelt digitaalülekandesüsteemidele üleminekuks.
Shannon sai 1956. aastal Massachusettsi Tehnoloogiainstituudi professoriks.

Hobid ja leiutised

Akadeemilise töö kõrvalt huvitus Shannon žongleerimisest, üherattalise jalgrattaga sõitmisest ja malest. Ta leiutas palju seadmeid, näiteks rakettidega lendavad kettad, motoriseeritud hüppepulk või teadusnäituse jaoks mõeldud tuldsülgav trompet. Üks ta humoorikamatest leiutistest oli tema laual olev karp, mis kandis nime "ülim masin" (inglise keeles ultimate machine) ja põhines Marvin Minsky ideel. Sellel seadmel oli külje peal vaid üks lüliti. Seda lülitades avanes karbil kaas ja sealt tulnud mehaaniline käsi lükkas lüliti tagasi ja läks karpi. YouTube'is ja Thingverse'is on inimestel ülima masina vastu uus huvi tekkinud. Lisaks sellele ehitas ta seadme, mis suutis lahendada Rubiku kuubiku.
Shannon kavandas digitaalarvuti Minivac 601, mis pidi ärimeestele õpetama, kuidas arvutid töötavad. Seda müüdi alates aastast 1961.
Teda peetakse koos Edward Thorpiga esimese kantava arvuti leiutajaks. Seda arvutit sai kasutada ruletis võiduvõimaluse väljaarvutamiseks.

Pärand

Shannon läks aastal 1956 Massachusettsi Tehnoloogiainstituuti, et töötada sealses elektroonikalaboratooriumis. Ta oli seal 1978. aastani. Aastal 2001 tähistati tema saavutusi ja seoses sellega püstitati Shannoni auks kuus Eugene Daubi skulptuuri: Michigani Ülikooli, Massachusettsi Tehnoloogiainstituuti, Gaylordi linna Michiganis, California Ülikooli San Diegos, Belli laboratooriumisse ja AT&T Shannoni laboratooriumisse. Üks osa jagunenud Belli süsteemist nimetati tema auks Shannoni Laboriks.
Neil Sloane, suure osa Shannoni artiklikollektsiooni redigeerija 1993. aastal, väitis, et kommunikatsiooniteooria (tänapäeval tuntud kui informatsiooniteooria) perspektiiv on digitaalrevolutsiooni alus ja et iga mikroprotsessorit sisaldav seade on idee poolest Shannoni 1948. aasta väljaande tulemus. Ühtlasi nimetas ta Shannonit sajandi vägevaimaks meheks ja digitaalrevolutsiooni algatajaks ning ütles, et ilma temata oleksid paljud tänapäeval tuntud asjad olematud. Ühik šännon on nimetatud Claude Shannoni järgi.
Shannonil oli kolm last: Robert James, Andrew Moore ja Margarita Shannon. Vanem poeg Robert suri 1998. aastal 45 aasta vanuselt. Elu lõpupoole arenes Claude Shannonil Alzheimeri tõbi ja ta suri aastal 2001. Oma viimased aastad veetis ta Massachusettsis hooldekodus, mäletamata oma seniseid saavutusi. Shannoni nekroloogis väitis tema naine Mary, et kui tal poleks olnud Alzheimeri tõbe, oleksid tema saavutused teda ennastki hämmastanud.

Shannoni hiir

Theseus oli 1950. aastal loodud magnetiline hiir, mis suutis releeahela abil liikuda 25 ruudust koosnevas labürindis, ja sellel olid pärishiire mõõtmed. Labürinti sai ümber seada. Hiire eesmärk oli käigud läbi otsida, et leida teatud ese. Kui hiir oli juba labürindiga tuttav, võis teda teise kohta tõsta ja tänu eelnevale kogemusele oskas ta minna otse eseme juurde. Hiir oli programmeeritud nii, et võõrasse punkti paigutatuna hakkas ta käike läbi otsima, kuni leidis tuttava koha, minnes seejärel kohe sihtmärgi juurde ja talletades uut kogemust. Näib, et Shannoni hiir oli esimene selletaoline tehislik õppevõimeline mehhanism.

Shannoni maleprogramm

Shannon avaldas aastal 1950 artikli "Arvuti malet mängima programmeerimine" ("Programming a Computer for Playing Chess"), milles ta selgitas, kuidas saab arvutit arvestataval tasemel malet mängima panna. Tema väljamõeldud algoritm on minimaksiprotseduur, mis põhineb malendite paigutuse hindamisel. Shannon tõi näiteks hindamisfunktsiooni, kus mustade malendite positsiooni väärtusest lahutati valgete oma. Eri malendite tugevust hinnati levinud punktisuhte järgi (1 punkt etturi eest, 3 ratsu või oda eest, 5 vankri eest ja 9 lipu eest). Tema hindamisviis võttis arvesse ka malendite positsiooni, näiteks iga ettur, mis oli teise etturiga samas rivis, ei olnud kõnealuse etturi ohtupanekuta liigutatav või oli isoleeritud, andis pool punkti. Teine positsiooniga seotud tegur funktsioonis oli liikuvus, mis andis igale malendile 0,1 lisapunkti iga käigu kohta, mida sellega teha sai. Lisaks andis ta kuningale väärtuse 200, kuna kuninga kaotus tähendaks matti.
Shannoni sõnul on see hindamisfunktsioon vaid näidis. Näiteks ei oleks ühes rivis olevatel või isoleeritud etturitel väärtust, mis on ebareaalne.

Infoteooria ja selle rakendamine mänguteoorias

Shannon ja tema naine Betty käisid koos Edward Thorpiga aeg-ajalt Las Vegases nädalavahetust veetmas. Füüsiku John L. Kelly juunioriga väljatöötatud infoteoorial põhinevate meetodite abil mängisid nad seal väga edukalt blackjacki. Suurim-vähim meetodina tuntud mänguviis töötab nii, et ilmunud kaartide põhjal liidetakse kas 1, 0 või −1. Shannon ja Thorp leiutasid ka väikese peidetava arvuti, mis aitas neil hasartmänge mängides võiduvõimalust välja arvutada. William Poundstone kirjutab ühes oma raamatus, et Shannon ja Thorp teenisid mängurlusega väga palju raha, väide, mida toetab oma kirjutistes ka Elwyn Borlekamp, Kelly assistent aastatel 1960–1962. Sama teooria abil teenisid Shannon ja Thorp aktsiaturul veel rohkem raha. Claude Shannoni kaardilugemisviis seletati lahti 2003. aasta bestselleris "Bringing Down the House", mille autoriks on Ben Mezrich ja mis räägib MIT-i blackjackimeeskonnast. Raamatu põhjal tehti aastal 2008 ka film pealkirjaga "21".