AI’s ”sorte boks”: Ny formel forklarer, hvordan AI opdager mønstre

Neurale netværk har været drivkraften bag gennembrud i kunstig intelligens, herunder de store sprogmodeller, der nu bruges i en bred vifte af områder – lige fra økonomi til kreativitet og sundhedspleje.

Men neurale netværk er en sort boks, hvis indre mekanismer ingeniører og forskere stadig kæmper for at forstå.

Se også: Hvad er kunstig intelligens? Sådan ser fremtiden med AI ud

Forskere tager “røntgenbillede” af neurale netværk

Nu har et hold af data- og computerforskere ved University of California San Diego givet neurale netværk, hvad der svarer til et røntgenbillede, for at afdække, hvordan de rent faktisk lærer. Resultaterne blev udgivet i tidsskriftet Science 7. marts.

Forskerne fandt ud af, at en formel, der bruges i statistisk analyse, giver en strømlinet matematisk beskrivelse af, hvordan neurale netværk såsom GPT-2, der tidligere blev brugt i ChatGPT, lærer relevante mønstre i data. Formlen forklarer også, hvordan neurale netværk bruger disse relevante mønstre til at komme med forudsigelser.

“Vi forsøger at forstå neurale netværk ud fra de første principper. Med vores formel kan man simpelthen fortolke, hvilke funktioner netværket bruger til at komme med forudsigelser,” siger Daniel Beaglehole, der er ph.d.-studerende ved UC San Diego Department of Computer Science and Engineering og medforfatter til undersøgelsen.

Se også: AI kan udgøre en trussel mod mennesker på “udryddelsesniveau” 

”Teknologien har indhentet teorien”

Hvorfor er det vigtigt? AI-drevne værktøjer er i dag blevet gennemgribende i vores hverdag. Banker bruger dem til at godkende lån. Hospitaler bruger dem til at analysere medicinske data såsom røntgenbilleder og MR-scanninger. Virksomheder bruger dem til at screene jobansøgere.

Men alligevel er svært – nærmest umuligt – at forstå den mekanisme, som neurale netværk bruger til at træffe beslutninger, og de bias i træningsdataene, der kan påvirke algoritmernes output.

“Hvis man ikke forstår, hvordan neurale netværk lærer, er det meget svært at fastslå, om neurale netværk giver pålidelige, nøjagtige og passende svar. Det er især vigtigt i betragtning af den hurtige vækst i maskinlæring og neurale netværk,” siger Mikhail Belkin, der er forfatter til artiklen og professor ved UC San Diego Halicioglu Data Science Institute.

Undersøgelsen er en del af en større indsats i Mikhail Belkins forskningsgruppe for at udvikle en matematisk teori, der forklarer, hvordan neurale netværk fungerer.

“Teknologien har overhalet teorien indenom. Vi er nødt til at indhente det,” siger han.

Teamet viste også, at den statistiske formel, de brugte til at forstå, hvordan neurale netværk lærer, kendt som AGOP (Average Gradient Outer Product), kan anvendes til at forbedre ydeevnen og effektiviteten i andre typer maskinlæringsarkitekturer, der ikke omfatter neurale netværk.

“Hvis vi forstår de underliggende mekanismer, der driver neurale netværk, bør vi kunne bygge maskinlæringsmodeller, der er enklere, mere effektive og mere fortolkelige. Vi håber, at det vil hjælpe med at demokratisere AI,” siger Mikhail Belkin.

De maskinlæringssystemer, som Belkin forestiller sig, vil have brug for mindre computerkraft og derfor mindre strøm fra elnettet for at fungere. Disse systemer vil også være mindre komplekse og dermed lettere at forstå.

Formel beskriver, hvordan neurale netværk virker Kunstige neurale netværk er beregningsværktøjer til at lære relationer mellem dataegenskaber – for eksempel ved at identificere specifikke objekter eller ansigter i et billede. Et eksempel på en opgave er at afgøre, om en person på et nyt billede bærer briller eller ej. Maskinlæring går til sådan et problem ved at træne algoritmen med mange billeder, der er mærket som billeder af “en person med briller” eller “en person uden briller”. Det neurale netværk lærer forholdet mellem billederne og deres mærkater og udtrækker datamønstre eller funktioner, som det skal fokusere på for at træffe en beslutning. En af grundene til, at AI-systemer betragtes som en sort boks, er, at det ofte er svært at beskrive matematisk, hvilke kriterier systemerne rent faktisk bruger til at komme med deres forudsigelser, herunder potentielle bias. Forskernes nye formel introducerer en enkel matematisk forklaring på, hvordan neurale netværk lærer disse funktioner. Funktioner er relevante mønstre i data. I eksemplet ovenfor er der en lang række funktioner, som det neurale netværk lærer og derefter bruger til at afgøre, om en person på et fotografi rent faktisk har briller på eller ej. Et træk, det skal være opmærksom på i denne specifikke opgave, er den øverste del af ansigtet. Andre funktioner kunne være øjet eller næseområdet, hvor brillerne ofte sidder. Netværket er selektivt opmærksomt på de træk, som det lærer er relevante, og kasserer derefter de andre dele af billedet såsom den nederste del af ansigtet, håret osv. Feature learning er evnen til at genkende relevante mønstre i data og derefter bruge disse mønstre til at komme med forudsigelser. I eksemplet med brillerne lærer netværket at være opmærksom på den øverste del af ansigtet. I den nye forskningsartikel identificerede forskerne en statistisk formel, der beskriver, hvordan de neurale netværk lærer funktioner.

 Se også: EU vedtager verdens første lov om kunstig intelligens