Context

Czym jest Context w Generatywnej AI?

Context (Kontekst) to w uproszczeniu pamięć krótkotrwała (operacyjna) modelu językowego (LLM). Jest to zbiór wszystkich danych wejściowych, które model jest w stanie "zobaczyć" i przeanalizować w momencie generowania odpowiedzi.

Na Context składają się trzy główne elementy:

1. Instrukcja systemowa (System Prompt) – np. "Jesteś pomocnym asystentem".

2. Historia rozmowy – poprzednie pytania użytkownika i odpowiedzi modelu.

3. Bieżące zapytanie – nowy prompt oraz ewentualne załączone dane (dokumenty, kod).

Okno Kontekstowe (Context Window)

To maksymalny limit danych, wyrażony w tokenach, jaki model może przyjąć. Jeśli rozmowa przekroczy ten limit, najstarsze informacje są "zapominane" (ucięte) lub model zwraca błąd.

Wielkość okna jest kluczowym parametrem przy wyborze modelu do budowania aplikacji:

• Claude 4.5 Opus: 200k tokenów

• GPT-5.1: 400K tokenów

• Gemini 3 Pro: 1,048,576 tokenów

Wyzwania: "Lost in the Middle"

Duże okno kontekstowe nie zawsze oznacza idealną pamięć. Modele mają tendencję do lepszego zapamiętywania informacji znajdujących się na początku i na końcu kontekstu, a gubienia tych w środku. Zjawisko to nazywamy "Lost in the Middle".

Do testowania efektywności Contextu używa się benchmarku "Needle in a Haystack" (Igła w stogu siana), który sprawdza, czy model potrafi wyciągnąć precyzyjny fakt ukryty w głębi bardzo długiego tekstu.

Znaczenie w automatyzacji (RAG)

W budowaniu aplikacji AI (np. chatbotów firmowych), Context jest najdroższym zasobem. Aby go nie przeciążać, stosuje się technikę RAG (Retrieval Augmented Generation). Zamiast wrzucać całą dokumentację do Contextu, system wyszukuje tylko fragmenty powiązane z pytaniem i "karmi" nimi model w czasie rzeczywistym.