Kwestia tego, w jaki sposób agent AI podejmuje kolejne decyzje, sięga samego rdzenia jego architektury. U podstaw leży tak zwana pętla percepcja–planowanie–działanie, w której program najpierw rejestruje informacje z otoczenia, następnie analizuje dostępne możliwości, a wreszcie realizuje wybraną akcję. Cały ten obieg odtwarza się wielokrotnie, aż do osiągnięcia zamierzonego efektu.
Trzonem tego procesu jest model językowy, który odgrywa rolę wewnętrznego głosu doradczego agenta. To on odczytuje instrukcje użytkownika, rozbija złożone zadanie na drobniejsze podzadania i proponuje kolejność ich realizacji. Otoczenie modelu stanowią pomocnicze narzędzia – wyszukiwarki, kalkulatory, interfejsy API – które agent uruchamia wtedy, gdy wymaga precyzyjnych danych spoza swojej pamięci treningowej.
Ciekawym składnikiem architektury jest tak zwana pamięć operacyjna, w której agent przechowuje tło bieżącego zadania. Dzięki niej nie traci nici nawet wtedy, gdy procedura rozciąga się na kilka etapów i wymaga przełączania między różnymi źródłami informacji. To dokładnie ta umiejętność wyróżnia agenta od podstawowego skryptu, który wykonuje jedynie wcześniej ustaloną listę poleceń.
Oddzielną kwestią pozostaje sposób ewaluacji własnych działań. Odpowiednio skonstruowany agent jest w stanie rozpoznać, że otrzymany wynik odbiega od zamierzonego, i cofnąć się do wcześniejszego etapu, by podjąć próbę alternatywnej ścieżki. Taka autokorekta zbliża działanie maszyny do ludzkiego nawyku weryfikowania własnej pracy przed jej oddaniem.