Årg. 4 Nr. 2 (1993)
Kvant - Juli 1993

Ansvarshavende redaktør: Mads Hammerich

Temanummer om neurale netværk

I lidt mere end 100 år har det været kendt, at centralnervesystemet i dyr og mennesker består af individuelle celler, neuroner, som næsten rører ved hinanden, men dog er adskilt af snævre mellemrum, synapser. Neuronerne er kommunikationsenheder, der danner et kompliceret netværk, hvori de udveksler signaler med hinanden henover de synaptiske gab. Der knytter sig mange forestillinger til oprindelsen af det, der betragtes som specielt menneskeligt, men når al overtro lægges væk, står der tilbage som den eneste mulighed, at alle kroppens muskler og derfor alt menneskeligt udtryk — fra det mest dyriske til åndens højeste niveauer — styres af signaludvekslingen mellem neuronerne gennem synapserne.

Den fine grænse mellem forventning og overdrivelse er ofte blevet overskredet i omtaler af kunstige neurale netværk. I denne særudgave af KVANT er det da heller ikke meningen at lave et reklamefremstød for emnet, men derimod et forsøg på at præsentere det på en så sober måde, at enhver kan danne sig sin egen mening. Det er ikke helt muligt at komme uden om store ord, men når de bliver brugt, er det hovedsageligt for at beskrive, hvor forunderligt den menneskelige hjerne er konstrueret. Den og alle andre dyrs hjerner er mesterværker af kompleksitet, uanset hvilken synsvinkel man anlægger.

Forskningen i neurale netværk berører næsten alle naturvidenskabelige discipliner. Først og fremmest selvfølgelig den neurovidenskab, hvoraf de dybest set er opstået. Selv om neurobiologerne har stillet sig overordentlig skeptisk an i begyndelsen, så forekommer der nu mere og mere egentlig samarbejde med modelbyggerne. John Hertz’s artikel i dette nummer handler om biologisk beregning og fortæller om, hvorledes nogle neurobiologiske eller endog neuropsykologiske eksperimenter kan forstås ved hjælp af ideer fra teorien for dynamiske systemer i fysikken.

I det hele taget er koblingen til fysikken af stor betydning. Det har vist sig muligt at foretage udstrakte teoretiske beregninger på en række typer netværk. Allerede i 1985 viste en israelsk forskergruppe, at man kunne løse den berømte Hopfield-model eksakt under visse statistiske antagelser. Hopfield-modellen er en model for den associative hukommelse, der er så karakteristisk for levende væsener, og som er radikalt forskellig fra de “nulevende” maskiners. Et af resultaterne var, at der fandtes skarpe grænser mellem de parameterområder, hvor modellen kunne huske, og de hvor den mistede hukommelsen. Når antallet af erindringer oversteg en vis mængde, forsvandt associeringsevnen brat. Faktisk var der tale om faseovergange af samme type som de faseovergange, der kendes fra de fleste af de fysiske systemer, som består af mange komponenter.

I neurale netværk udføres induktiv, i modsætning til den sædvanlige deduktive, databehandling. I deduktive systemer opstiller man regler — computerprogrammer — for den relation mellem input og output, man ønsker at beskrive med sin beregning. I induktive systemer bruger man derimod eksempler på de relationer, man ønsker at indfange. Dette minder så meget om den måde, vi mennesker lærer nye færdigheder på, at begreber som træning, indlæringsteknik og evne til at generalisere anvendes helt naturligt og — vil nogen sige — ganske hæmningsløst.

I de seneste år har det teoretiske arbejde især koncentreret sig om formulering af statistiske teorier for neurale netværk og beregning af den for anvendelserne vigtigste størrelse af alle, nemlig generalisationsevnen. Med sådanne ideer som baggrund har det vist sig muligt at forstå og i praksis overvinde de vanskeligheder, der kendes, med overtræning af netværk. Mange som har forsøgt at lave praktisk fungerende netværk har bemærket, at når et netværk trænes for længe, så formindskes dets generalisationsevne igen.

Årsagen er, at der er “for meget plads” i netværket. Efter et vist punkt begynder netværket at lære hvert eksempel udenad i stedet for at finde de underliggende generelle regler. I dag findes der kriterier for at beskære netværk indtil et punkt, hvor netværkets kompleksitet svarer nøje til den kompleksitet problemets data frembyder. Benny Lautrup fortæller i sin introduktionsartikel om, hvorledes disse metoder virker i et praktisk eksempel.

Datalogien har både herhjemme og i udlandet vist stor skepsis overfor denne gøgeunge, fysikken har fostret. Neurale netværk er komplekse, og oftest kontinuerte, dynamiske systemer, som ikke indgår i det begrebsrum af algoritmer, datalogerne sædvanligvis arbejder med. Kontinuiteten af neurale netværk med hensyn til variable og parametre er nok i virkeligheden den allervæsentligste forskel mellem konventionel kunstig intelligens og de neurale netværk. Medens logiske relationer mellem data ikke besidder en indre kontinuitet, og derfor tillader enhver relation mellem forskellige data, så bevirker den indbyggede kontinuitet i de neurale netværk, at ikke alle relationer er lige “naturlige”. Et netværks generalisationsevne er præcis et udtryk for, at ikke alt kan læres. Når først en række eksempler på en datarelation er indlært, så er det begrænset, hvor megen variation, der endnu er plads til med den arkitektur, netværket er blevet udstyret med. Den beskæring af overtrænede netværk, der er omtalt ovenfor, reducerer netop arkitekturen for at forbedre generalisationsevnen.

Siden 1987 har enhver hacker med respekt for sig selv konstrueret neurale netværk til alle mulige formål. Mange har uden held forsøgt at bruge netværk til at forudsige udviklingen af dollarkursen eller tipsresultaterne. Den største succes fås, når en anvendelse er baseret på data, hvori der nødvendigvis må findes relationer. Dette gælder for eksempel for talegenkendelse, hvor det er klart at lyden indeholder al information om talen (ellers ville telefonen ikke virke), men hvor sammenhængen er overordentlig kompleks. Inden for billedanalyse har det også vist sig fordelagtigt at bruge neurale netværk, som beskrevet i en artikel af Lars Kai Hansen.

Antallet af seriøse industrielle anvendelser både i udlandet og herhjemme er støt stigende. Ofte, som i artiklen af Hans-Henrik Thodberg, drejer det sig om omformning af “snavsede”, støjfyldte empiriske måledata til et klart svar, der kan bruges til — eller simpelthen er — en klassificering. Interessen fra dansk industris side kom klart frem på et endagsmøde den 21. april 1993, arrangeret af Dansk Automatiseringsselskab og CONNECT, det danske forskningscenter for kunstige neurale netværk. Omkring 120 personer mødtes her for at diskutere anvendelser af neurale netværk i procesautomatisering og kontrol.

Størstedelen af de anvendelser, der endnu er gjort, er baseret på simulerede netværk, hvor signalerne er en eller anden form for numerisk størrelse. Men det er også muligt at bygge netværk i elektronisk hardware, hvor signalerne er strømme og spændinger. Dette fortæller Erik Bruun om i sin artikel. Sådanne netværk lover betydelig hastighedsforøgelse, fordi en stor del af operationerne kan udføres parallelt. Endnu vildere bliver det, når man bruger lysstråler som signaler. Her kan hastigheden teoretisk set nå op i nærheden af de værdier, små biologiske systemer, for eksempel insekter, har brug for. Et dansk bidrag til denne udvikling beskrives af Thomas Martini Jørgensen og Jesper Glückstad i dette nummer.

Neurale netværk er fra fødslen udstyret med en fuldt udviklet filosofisk overbygning, kaldet konnektionisme. Det har ikke altid været let at leve med den, fordi diskussioner hurtigt forlader jordoverfladen. Claus Emmeche har taget stilling til et par af de mere enkle filosofiske problemer i sin artikel.