Od perceptronu do ChatGPT: rozwój sieci neuronowych

Historia sieci neuronowych ma ponad 80 lat. Dzisiejsze modele zawdzięczają swoje możliwości nie jednemu odkryciu, lecz długiemu łańcuchowi pomysłów: formalnemu neuronowi z 1943 roku, perceptronowi, uczeniu wielowarstwowych reprezentacji, konwolucjom, GPU, dużym zbiorom danych i mechanizmowi attention. Kilka razy sieci uznawano za przyszłość AI, a potem za ślepą uliczkę. Oba sądy były przedwczesne.

Ten tekst wyjaśnia kolejne etapy technicznie, ale bez matematycznego dymu. Pokazuje też, dlaczego znajomość tej historii pomaga oceniać współczesne modele: architektura nie usuwa ograniczeń danych, benchmark nie dowodzi bezpieczeństwa, a „głębszy” nie zawsze znaczy „bardziej rozumiejący”.

Oś czasu sieci neuronowych

Rok	Etap	Przełom
1943	McCulloch–Pitts	Logiczny model neuronu progowego
1949	Hebb	Reguła wzmacniania połączeń przez współaktywację
1957–1958	Perceptron Rosenblatta	Uczenie wag klasyfikatora z przykładów
1969	„Perceptrons” Minsky’ego i Paperta	Formalny opis ograniczeń sieci jednowarstwowych
1986	Backpropagation	Praktyczne uczenie przydatnych warstw ukrytych
1989–1998	LeNet i CNN	Współdzielenie wag oraz lokalne filtry dla obrazów
2012	AlexNet	GPU, duży zbiór i głęboka CNN wygrywają ImageNet
2015	ResNet	Połączenia rezydualne ułatwiają uczenie bardzo głębokich sieci
2017	Transformer	Self-attention skaluje modelowanie sekwencji

1943: neuron jako funkcja logiczna

Warren McCulloch i Walter Pitts potraktowali neuron jak binarny element: sygnały wejściowe są sumowane, a wyjście aktywuje się po spełnieniu warunku progowego. Sieć takich elementów mogła realizować operacje logiczne. Była to abstrakcja, nie wierny model biologicznego mózgu. Jej siła polegała na pokazaniu, że zachowanie sieci można badać formalnie.

W 1949 roku Donald Hebb opisał mechanizm uczenia, który w uproszczeniu łączy się ze wzmacnianiem połączenia między często współaktywnymi neuronami. Współczesne algorytmy nie są prostą implementacją biologicznej reguły Hebba, ale pomysł, że wiedza może być zakodowana w sile połączeń, stał się fundamentem koneksjonizmu.

To ważne rozróżnienie: inspiracja mózgiem nie oznacza symulacji mózgu. Dzisiejszy „neuron” w modelu jest funkcją numeryczną wykonującą ważoną sumę i nieliniowe przekształcenie. Nazwa pomaga intuicji, lecz może też prowadzić do antropomorfizacji.

Perceptron: maszyna, która poprawiała własne wagi

Frank Rosenblatt rozwijał perceptron pod koniec lat 50. Klasyfikator przyjmował cechy, obliczał ważoną sumę i wybierał jedną z dwóch klas. Gdy odpowiedź była błędna, reguła uczenia przesuwała wagi w kierunku poprawnej decyzji. Dla danych liniowo separowalnych algorytm miał gwarancję zbieżności.

Entuzjazm mediów wyprzedził zakres metody. Perceptron jednowarstwowy nie potrafi reprezentować problemów, których nie da się rozdzielić jedną hiperpłaszczyzną—klasycznym przykładem jest XOR. Marvin Minsky i Seymour Papert opisali takie ograniczenia w książce z 1969 roku. Często przedstawia się ją jako „zabójstwo sieci neuronowych”, ale to uproszczenie: krytyka dotyczyła konkretnej klasy architektur i wskazywała, że sieci wielowarstwowe mogłyby pokonać część barier, choć nie było wtedy wygodnego sposobu ich uczenia ani odpowiedniej mocy obliczeniowej.

Pierwsza lekcja jest aktualna: ograniczenie modelu należy opisywać precyzyjnie. Twierdzenie „AI nie potrafi X” albo „AI rozwiązała X” bez architektury, danych i kryterium jest zwykle marketingiem, nie analizą.

Warstwy ukryte i problem przypisania błędu

Sieć wielowarstwowa potrafi budować złożone granice decyzyjne. Problem brzmi: jak ustalić, które połączenie w warstwie ukrytej odpowiada za błąd na wyjściu? Backpropagation rozwiązuje to przez regułę łańcuchową rachunku różniczkowego. Najpierw wykonywane jest przejście w przód, następnie oblicza się funkcję straty, a gradient tej straty względem każdego parametru propaguje się od końca do początku. Optymalizator aktualizuje parametry w kierunku zmniejszającym błąd.

W 1986 roku David Rumelhart, Geoffrey Hinton i Ronald Williams pokazali, jak taka procedura pozwala jednostkom ukrytym uczyć się użytecznych cech. Nie byli pierwszymi autorami wszystkich elementów idei, dlatego bezpieczniej mówić o publikacji, która spopularyzowała i praktycznie zademonstrowała metodę, niż o jednym momencie wynalezienia backpropagation.

Algorytm nie gwarantuje globalnie najlepszego rozwiązania. Optymalizacja zależy od inicjalizacji, skali gradientów, danych, funkcji aktywacji i hiperparametrów. Zanikające lub eksplodujące gradienty przez lata utrudniały uczenie głębokich sieci. Rozwój funkcji aktywacji, normalizacji, inicjalizacji i architektur stopniowo ograniczał te problemy.

Konwolucje: wiedza o strukturze obrazu w architekturze

Pełne połączenie każdego piksela z każdym neuronem szybko prowadzi do ogromnej liczby parametrów. Sieci konwolucyjne wykorzystują dwie własności obrazu: lokalność i powtarzalność wzorców. Mały filtr przesuwa się po obrazie, a te same wagi wykrywają cechę w różnych pozycjach. Współdzielenie wag zmniejsza liczbę parametrów i wprowadza użyteczne założenie o danych.

Yann LeCun i współautorzy pokazali praktyczne zastosowanie uczenia gradientowego do rozpoznawania dokumentów. LeNet-5 analizował cyfry i znaki, łącząc warstwy konwolucyjne, redukcję rozdzielczości i klasyfikację. Był dowodem, że sieci mogą działać w produkcyjnym, wąskim zadaniu długo przed boomem 2012 roku.

Dlaczego AlexNet wygrał właśnie w 2012 roku

AlexNet nie był pierwszą siecią konwolucyjną. Przełom wyniknął z połączenia skali danych, mocy GPU i kilku praktycznych decyzji. Autorzy trenowali model na około 1,2 miliona obrazów ImageNet należących do 1000 klas. Sieć miała około 60 milionów parametrów. GPU znacząco przyspieszyły konwolucje, ReLU ułatwiło optymalizację, augmentacja ograniczała przeuczenie, a dropout losowo wyłączał część aktywacji podczas treningu.

W konkursie ILSVRC 2012 wynik top-5 error AlexNet był wyraźnie lepszy od konkurencji. Różnica była wystarczająca, by przekonać branżę, że automatycznie uczone reprezentacje mogą pokonać potoki oparte na ręcznie projektowanych cechach. Rozpoczęła się szybka migracja deep learningu do widzenia, mowy i przetwarzania języka.

Sukces ujawnił też koszt. Duży model potrzebuje danych, energii, czasu i specjalistycznej infrastruktury. Jeśli dane są błędnie opisane lub niereprezentatywne, skala zwiększa pewność modelu, a nie prawdziwość jego założeń.

ResNet: jak uczyć znacznie głębsze sieci

Dodawanie warstw nie zawsze poprawiało wynik. Nawet gdy przeuczenie nie było głównym problemem, bardzo głębokie sieci mogły optymalizować się gorzej. ResNet wprowadził bloki rezydualne: zamiast uczyć bezpośrednio pełnego przekształcenia, blok uczy poprawki do wejścia, a skrót przekazuje sygnał dalej. Matematycznie prosta ścieżka identyczności pomaga przepływowi informacji i gradientu.

W praktyce połączenia rezydualne umożliwiły skuteczne trenowanie sieci o dziesiątkach i setkach warstw. Idea skip connection przeniknęła daleko poza klasyczne CNN. Jej znaczenie jest inżynieryjne: postęp często przychodzi nie przez „więcej tego samego”, lecz przez zmianę ścieżki, którą płynie informacja.

Transformer: sieć neuronowa patrzy na relacje w sekwencji

Modele rekurencyjne przetwarzają sekwencję krok po kroku, co utrudnia równoległość i uczenie bardzo odległych zależności. Transformer zaproponowany w 2017 roku wykorzystał self-attention. Dla każdego tokenu powstają reprezentacje query, key i value. Zgodność query z keys wyznacza wagi, według których łączone są values. Multi-head attention pozwala jednocześnie uczyć różne relacje.

Pozycja tokenu nie jest wbudowana w attention, więc model otrzymuje informację pozycyjną. Kolejne warstwy łączą attention, sieci feed-forward, normalizację i połączenia rezydualne. Ta konstrukcja dobrze wykorzystuje akceleratory i stała się bazą nowoczesnych modeli językowych. Pełniejszy kontekst daje historia sztucznej inteligencji.

Transformer skaluje przewidywanie sekwencji, ale nie zapewnia prawdziwości. Model może wygenerować płynny fałsz, być podatny na prompt injection i wykonać niebezpieczną instrukcję, jeśli aplikacja przyzna mu zbyt szerokie narzędzia.

Od klasyfikatora do modelu bazowego

Tradycyjny model uczył się jednego zadania na opisanym zbiorze. Model bazowy uczy się szerokich reprezentacji na ogromnym korpusie, a następnie jest adaptowany przez instrukcje, przykłady, dostrajanie lub retrieval. To zmienia ekonomię: jeden model obsługuje wiele aplikacji, ale wspólna baza tworzy wspólne ryzyko.

Jakość aplikacji zależy od modelu, promptu, RAG, uprawnień, filtrów, pamięci i kodu integracyjnego. Dlatego audyt bezpieczeństwa LLM nie może sprowadzać się do listy jailbreaków. Musi sprawdzać przepływ danych i realny skutek działania.

Co ta historia oznacza dla bezpieczeństwa

Reprezentacja nie jest wyjaśnieniem. Wysoka skuteczność nie mówi, dlaczego model podjął konkretną decyzję.
Dane są częścią powierzchni ataku. Zatrucie, błędne etykiety i wyciek danych mogą zmienić zachowanie modelu.
Benchmark jest próbką, nie gwarancją. Potrzebne są testy domenowe, przypadki brzegowe i regresja.
Model nie powinien sam wyznaczać granic uprawnień. Kontrola dostępu musi działać deterministycznie poza modelem.
Obserwowalność jest obowiązkowa. Bez śladu wejść, pobranych dokumentów, wywołań narzędzi i wyniku nie da się odtworzyć incydentu.

Zasady przekładają się na praktykę bezpiecznego wdrażania LLM oraz AI red teamingu.

FAQ

Czy sieć neuronowa działa jak ludzki mózg?

Jest nim luźno inspirowana, ale współczesny sztuczny neuron jest prostą funkcją matematyczną. Skala, mechanizm uczenia, organizacja i sposób działania różnią się od biologicznego mózgu. Analogie są użyteczne edukacyjnie, lecz nie dowodzą świadomości.

Kto wynalazł backpropagation?

Metoda ma wieloetapową historię i wcześniejsze prace. Publikacja Rumelharta, Hintona i Williamsa z 1986 roku stała się szczególnie wpływową demonstracją uczenia reprezentacji przez propagowanie błędu. Przypisanie całego wynalazku jednej osobie byłoby uproszczeniem.

Dlaczego sieci neuronowe nie odniosły sukcesu już w latach 60.?

Brakowało równocześnie danych cyfrowych, taniej mocy obliczeniowej, dojrzałych technik optymalizacji i architektur ułatwiających uczenie wielu warstw. Perceptrony miały też formalne ograniczenia reprezentacyjne.

Czy większy model zawsze jest lepszy?

Nie. Skala może poprawić wiele zdolności, lecz zwiększa koszt, opóźnienie i trudność kontroli. Wynik zależy również od danych, celu treningu, ewaluacji i projektu systemu. Dla wąskiej funkcji mniejszy model bywa tańszy, szybszy i łatwiejszy do zabezpieczenia.

Źródła

Budujesz system oparty na sieci neuronowej, RAG lub agencie? Sprawdź usługę AI red teamingu, która testuje model razem z danymi, narzędziami i kontrolą dostępu.