Gdy w procesie pojawia się model językowy, bardzo łatwo nazwać całe rozwiązanie agentem. Czasem jeszcze zanim ustalimy, czy model ma w ogóle podejmować jakiekolwiek decyzje.
Może przecież wykonać tylko jedno konkretne zadanie: sklasyfikować wiadomość, odczytać dane z dokumentu albo przygotować szkic odpowiedzi. Kolejne kroki nadal mogą być wykonywane według jednoznacznych reguł.
Agent zaczyna się dopiero tam, gdzie model otrzymuje swobodę wyboru sposobu wykonania zadania.
Ta różnica ma praktyczne znaczenie. Im więcej decyzji przekazujemy modelowi, tym więcej możliwych ścieżek działania musimy przetestować, zabezpieczyć i monitorować.
Dobra automatyzacja nie wykorzystuje możliwie najbardziej zaawansowanej technologii. Wykorzystuje najmniej złożone rozwiązanie, które skutecznie obsługuje dany proces.
Workflow, workflow z AI i agent AI
Na potrzeby tego artykułu przyjmijmy prosty słownik:
Workflow - kod i reguły określają kolejność działań.
Workflow z AI - ścieżka nadal jest określona, ale model wykonuje wybrane kroki wymagające interpretacji.
Agent AI - model może zdecydować, jakie działania wykonać, w jakiej kolejności i z których narzędzi skorzystać.
Przykładowy workflow może pobierać fakturę z wiadomości, zapisywać ją na dysku, odczytywać wskazane pola i przesyłać dane do systemu księgowego. Wszystkie kroki oraz ich kolejność są wcześniej ustalone.
Jeżeli odczytanie pól z różnych formatów dokumentów wymaga modelu AI, mamy workflow z AI. Model interpretuje dokument, ale nie decyduje, co zrobić później.
Agent mógłby natomiast sam ocenić rodzaj dokumentu, zdecydować, które dane trzeba sprawdzić, wybrać odpowiedni system i podjąć kolejne działania zależnie od uzyskanych wyników.
Nie oznacza to, że są to trzy całkowicie rozłączne rozwiązania. Jeden proces może wykorzystywać reguły, pojedyncze wywołania modelu oraz ograniczonego agenta. Kluczowe jest to, gdzie przebieg jest ustalony, a gdzie system otrzymuje autonomię.
Agent nie jest bardziej zaawansowanym workflow. Jest systemem, któremu przekazujemy część decyzji dotyczących sposobu wykonania zadania.
Podobne rozróżnienie stosuje Anthropic: w workflow ścieżkę definiuje wcześniej przygotowany kod, natomiast agent dynamicznie kieruje procesem i wykorzystaniem narzędzi. Firma rekomenduje również zwiększanie złożoności tylko wtedy, gdy prostsze rozwiązania nie dają wystarczającego efektu.
Najważniejsze pytanie: kto wybiera kolejny krok?
Sama obecność AI nie czyni systemu agentem. Nie decyduje o tym również liczba wykonywanych kroków.
Proces może składać się z dwudziestu operacji i nadal być zwykłym workflow, jeżeli każda z nich jest wcześniej zdefiniowana. Z drugiej strony agent może wykonać trzy czynności, ale samodzielnie wybrać je na podstawie sytuacji.
Przy wyborze rozwiązania warto ocenić kilka cech procesu:
- Przewidywalność - czy kolejne kroki można opisać przed uruchomieniem procesu.
- Niejednoznaczność - czy dane można obsłużyć prostymi regułami, czy wymagają interpretacji.
- Liczba wyjątków - jak często proces wychodzi poza standardową ścieżkę.
- Ryzyko błędu - jakie będą konsekwencje niewłaściwej decyzji.
- Odwracalność - czy błędne działanie można łatwo wycofać.
Jeżeli kolejność działań jest znana, najczęściej wystarczy workflow. Jeżeli tylko jeden krok wymaga zrozumienia treści, można dodać do niego model. Agent staje się uzasadniony, gdy nie da się z góry określić, jakie działania będą potrzebne.
Google Cloud wskazuje podobne kryteria przy wyborze architektury agentowej: przewidywalność zadania, konieczność dynamicznego planowania, koszt, opóźnienia i poziom kontroli wymagany w procesie.
AI nie musi sterować całym procesem
W wielu automatyzacjach AI jest potrzebne tylko w konkretnym miejscu. Najczęściej tam, gdzie dane nie mają jednego, stałego formatu albo wymagają zrozumienia ich znaczenia.
Model może na przykład:
- przypisać wiadomość do odpowiedniej kategorii;
- odczytać dane z dokumentu;
- ocenić priorytet zgłoszenia;
- przygotować podsumowanie;
- stworzyć szkic odpowiedzi.
Pozostała część procesu może nadal działać deterministycznie. Kod zapisuje dane, nadaje etykietę, tworzy zadanie, wysyła powiadomienie albo przekazuje sprawę do konkretnej osoby.
To często lepsze rozwiązanie niż oddanie całego procesu agentowi. Wiemy, kiedy model jest używany, jaki wynik powinien zwrócić i co system może z tym wynikiem zrobić.
AI powinno obsługiwać niejednoznaczność, a nie zastępować reguły, które już działają.
Pojedyncze użycie modelu jest również łatwiejsze do testowania. Możemy przygotować zestaw przykładowych wiadomości lub dokumentów, sprawdzić poprawność wyniku i ustalić, przy jakim poziomie pewności sprawa powinna trafić do człowieka.
Wspólna skrzynka e-mail nie potrzebuje agenta
Załóżmy, że firma usługowa z sektora MŚP otrzymuje około 2400 wiadomości miesięcznie na wspólną skrzynkę. Pracownik ręcznie otwiera każdą wiadomość i przekazuje ją do sprzedaży, księgowości, reklamacji albo administracji.
Można zbudować agenta, który analizuje treść, sprawdza klienta w CRM, wybiera kolejne działania i samodzielnie odpowiada. Nie oznacza to jednak, że taka autonomia jest potrzebna.
Analiza procesu może pokazać, że około 45% wiadomości da się obsłużyć zwykłymi regułami:
- wiadomości wysłane na alias
faktury@firma.pltrafiają do księgowości; - poczta od znanych dostawców trafia do odpowiednich folderów;
- powiadomienia systemowe mają stały format tematu, na przykład
[ORDER #1234].
Pozostałe wiadomości mogą zostać przekazane do pojedynczego wywołania modelu. Model nie odpowiada klientowi i nie przeszukuje samodzielnie systemów. Zwraca tylko trzy wartości: kategorię, priorytet, poziom pewności.
Jeżeli pewność przekracza ustalony próg, workflow nadaje etykietę lub przenosi wiadomość do odpowiedniego folderu. Pozostałe przypadki trafiają do człowieka.
Przy przykładowych założeniach:
- 1080 wiadomości obsługują reguły;
- około 1050 wiadomości klasyfikuje model;
- około 270 wiadomości wymaga ręcznej weryfikacji.
Jeżeli kwalifikacja jednej wiadomości zajmuje średnio 1,5 minuty, ręczna obsługa wszystkich wiadomości pochłania około 60 godzin miesięcznie. Sprawdzenie 270 przypadków to niecałe 7 godzin samej kwalifikacji.
Po doliczeniu czasu na ponowne odczytanie wiadomości, poprawki i obsługę wyjątków rzeczywisty wynik może być wyższy, na przykład 9–11 godzin. To jednak założenie, które firma powinna zweryfikować na własnym procesie.
Technicznie takie rozwiązanie może korzystać z filtrów i Apps Script w Gmailu, Microsoft Graph w Microsoft 365 albo niewielkiego skryptu łączącego się ze zwykłą skrzynką przez IMAP.
To nadal jest workflow z AI, a nie agent. Model wykonuje ograniczoną klasyfikację. Nie planuje pracy, nie wybiera narzędzi i nie decyduje samodzielnie, jaki cel chce osiągnąć.
Kiedy agent AI rzeczywiście ma sens?
Agent przynosi wartość wtedy, gdy sposobu wykonania zadania nie da się rozsądnie opisać przed rozpoczęciem pracy.
Dobrym przykładem jest rozbudowany research. System może rozpocząć od kilku źródeł, na ich podstawie odkryć nowe zagadnienia, sformułować kolejne pytania i zdecydować, gdzie szukać dalej. Pełnej ścieżki nie znamy z góry, ponieważ zależy ona od informacji znalezionych po drodze.
Podobnie może wyglądać:
- diagnozowanie awarii wymagające wyboru kolejnych testów;
- modyfikacja kodu obejmująca nieznaną wcześniej liczbę plików;
- analiza sprawy klienta wymagająca danych z różnych systemów;
- obsługa nietypowego zgłoszenia, dla którego nie istnieje jedna ustalona procedura.
W każdym z tych przykładów wartość nie wynika jedynie z użycia modelu. Wynika z jego zdolności do zmiany planu na podstawie uzyskanych rezultatów.
Agent ma sens dopiero wtedy, gdy system musi zdecydować nie tylko co zrobić, ale również jak to zrobić.
Nie oznacza to pełnej dowolności. Dobry agent produkcyjny powinien mieć jasno określony cel, ograniczony zestaw narzędzi, dostęp wyłącznie do potrzebnych danych oraz warunki zakończenia pracy.
OpenAI również rekomenduje podejście stopniowe zamiast rozpoczynania od w pełni autonomicznej i złożonej architektury. Agent jest dobrym wyborem przede wszystkim wtedy, gdy proces wymaga niejednoznacznych decyzji, pracy na nieustrukturyzowanych danych albo obsługi reguł i wyjątków, których nie da się rozsądnie utrzymywać w kodzie.
Większa autonomia oznacza większy koszt kontroli
Workflow wykonuje ścieżki przewidziane przez projektanta. Agent może tworzyć ścieżki, których projektant nie zapisał bezpośrednio.
To zwiększa możliwości rozwiązania, ale jednocześnie poszerza zakres tego, co trzeba kontrolować.
Przy systemie agentowym należy sprawdzić między innymi:
- Dobór narzędzi - czy agent użył właściwego systemu i odpowiedniej operacji.
- Kolejność działań - czy nie wykonał czynności zbyt wcześnie.
- Warunki zakończenia - czy potrafi przerwać pracę, zamiast powtarzać kolejne próby.
- Uprawnienia - czy może tylko odczytywać dane, czy również je zmieniać.
- Obsługę błędów - co zrobi, gdy system zewnętrzny zwróci niepełny albo sprzeczny wynik.
- Eskalację - kiedy przekaże sprawę człowiekowi.
Model może poprawnie wykonać dziewięć kroków, a pomylić się przy dziesiątym. W procesie agentowym błędy mogą się również kumulować: niewłaściwa interpretacja prowadzi do złego wyboru narzędzia, a ten do kolejnej błędnej decyzji.
Dlatego ważna jest nie tylko jakość końcowej odpowiedzi, lecz także możliwość odtworzenia przebiegu procesu: jakie dane agent otrzymał, jakie narzędzia uruchomił i dlaczego podjął konkretne działanie.
Im większe konsekwencje błędu, tym mniejszy powinien być zakres samodzielnych działań agenta.
Człowiek nie musi zatwierdzać każdego kroku. Powinien jednak przejmować proces przy nietypowych wyjątkach oraz zatwierdzać działania finansowe, prawne, komunikację zewnętrzną i operacje trudne do odwrócenia.
Najczęściej wygrywa rozwiązanie hybrydowe
Wybór nie zawsze sprowadza się do decyzji: workflow albo agent.
W jednym procesie odpowiedzialność może zostać podzielona:
- Reguły obsługują jednoznaczne przypadki.
- Workflow kontroluje przebieg procesu i integracje.
- AI interpretuje nieustrukturyzowane dane.
- Agent rozwiązuje ograniczony fragment wymagający dynamicznego planowania.
- Człowiek podejmuje decyzje o wysokim ryzyku.
Przykładowo workflow może odebrać reklamację, sprawdzić kompletność danych i pobrać historię zamówienia. Model klasyfikuje problem i przygotowuje podsumowanie. Agent jest uruchamiany tylko wtedy, gdy sprawa wymaga zebrania dodatkowych informacji z kilku systemów. Ostateczną decyzję o zwrocie pieniędzy podejmuje pracownik.
W takim rozwiązaniu agent nie zarządza całym procesem. Otrzymuje konkretny cel i działa w wyznaczonych granicach.
Hybryda nie jest potrzebna zawsze. Jeżeli problem można rozwiązać samymi regułami albo jednym wywołaniem modelu, dodanie kolejnych warstw tylko zwiększy koszty.
Jak wybrać rozwiązanie dla procesu?
Decyzję można sprowadzić do pięciu kroków:
- Opisz oczekiwany wynik - ustal, co ma się wydarzyć po zakończeniu procesu.
- Zaznacz jednoznaczne kroki - zapisz działania, które można wykonać według stałych reguł.
- Znajdź miejsca wymagające interpretacji - sprawdź, gdzie potrzebne jest rozumienie tekstu, dokumentu albo kontekstu.
- Oceń potrzebę dynamicznego planowania - ustal, czy system musi samodzielnie wybierać kolejne działania.
- Ogranicz autonomię - przekaż modelowi tylko te decyzje, których nie da się rozsądnie obsłużyć prostszym sposobem.
To nie liczba kroków decyduje, czy potrzebujesz agenta.
Zacznij od workflow. Dodaj AI tam, gdzie potrzebna jest interpretacja. Agenta zastosuj dopiero wtedy, gdy wartość procesu zależy od samodzielnego wyboru kolejnych działań.
