Роман Поляшенко
Коли ми показуємо демо голосового чи чат-агента, перше захоплення — «о, воно розмовляє як людина». А наступне питання майже завжди те саме, і воно правильне: «А що, як він скаже клієнту дурницю?» Вигадає ціну, якої нема. Пообіцяє доставку, якої ви не робите. Нахамить у відповідь на грубість. Розкаже конкуренту те, чого не мав би. Саме тут вирішується, чи можна взагалі пускати агента до живих клієнтів — і саме про це найменше говорять на демо. Нижче — як ми відповідаємо на це питання: що таке запобіжники, як ми заземлюємо агента на факти, чому ескалація до людини важливіша за «розумну» відповідь, і як усе це тестуємо ще до першого дзвінка.
Проблема не в тому, що агент мовчить, а в тому, що він може сказати зайве
Велика мовна модель за замовчуванням хоче бути корисною. Її не вчили казати «я не знаю» — її вчили давати відповідь. Тому «голий» агент, якщо його ні в чому не обмежити, радше вигадає правдоподібну неправду, ніж зізнається в незнанні. Для чат-боту, який пише вірші, це не проблема. Для агента, який від імені вашого бізнесу називає ціни, умови й терміни, це пряма репутаційна й фінансова діра.
Тому наша робота як інтегратора — не «навчити агента говорити». Говорити він уміє з коробки. Наша робота — навчити його мовчати там, де треба, відповідати лише з ваших фактів і чесно передавати складне людині. Це і є запобіжники.
«Задача виконана» — це ще не «сказав правильно»
Найпоширеніша пастка при впровадженні AI — плутати «агент відповів» із «агент відповів правильно». Бот, який на будь-яке питання щось бадьоро каже, виглядає робочим на демо і стає джерелом проблем у проді. Формально він «відпрацював» кожну розмову. Фактично частину з них він зіпсував — і ви про це не дізнаєтесь, поки не подзвонить незадоволений клієнт.
Тому ми з самого початку розділяємо дві речі: чи агент дав відповідь і чи ця відповідь була правильна, доречна й безпечна. Перше — це базова функціональність. Друге — це те, що ми реально перевіряємо й за що відповідаємо. Запобіжники існують саме для другого.
Що таке запобіжник (guardrail) насправді
Запобіжник — це не «ще один промпт зі словами будь ласка, не помиляйся». Це набір конкретних, перевірюваних правил і механізмів, які тримають агента в рамках, навіть коли клієнт свідомо або випадково штовхає його за межі. На практиці ми будуємо кілька шарів.
- Дозволені й заборонені теми. Про що агент говорить (ваш продукт, послуги, запис, статус замовлення) і про що — ні (політика, поради, які може дати лише лікар чи юрист, чужі бренди, внутрішня кухня компанії).
- Правила щодо цін і зобов'язань. Часто найбезпечніше — взагалі не називати точну ціну голосом, а передати розрахунок людині чи системі. Агент не має права вигадувати знижки, терміни й гарантії.
- Захист персональних даних. Агент не випитує зайвого, не повторює вголос номери карток і не диктує чутливі дані там, де їх могли б почути.
- Тон і поведінка під тиском. На грубість — спокій і фокус на суті; на провокацію — не вестися; на спробу «зламати» агента інструкціями в чаті — ігнорувати їх як текст, а не як команду.
- Ескалація до людини. Головний запобіжник, про який окремо нижче: коли агент не впевнений — він передає, а не імпровізує.
Ключова риса доброго запобіжника — його можна перевірити. «Будь ввічливим» перевірити важко. «Ніколи не називай ціну числом, а пропонуй безкоштовний прорахунок» — легко: пишемо десяток провокацій «ну скільки це коштує?» і дивимось, чи агент жодного разу не зірвався на конкретну цифру.
Заземлення: агент відповідає з вашої бази, а не зі своєї уяви
Найпотужніший захист від вигадок — заземлення (grounding). Замість того, щоб агент відповідав «із голови», ми даємо йому доступ до вашої бази знань як до інструмента: перш ніж сказати щось про ваш продукт чи умови, він дістає відповідний факт із наданих матеріалів і відповідає вже з нього. Немає факту в базі — немає й відповіді; агент чесно каже, що уточнить, і за потреби ескалує.
Це переносить відповідальність за правильність із «що там модель собі надумала» на що ви їй дали. Ваша база знань стає єдиним джерелом правди: оновили умови доставки — агент говорить нові; прибрали з бази ціни — агент фізично не має чим назвати число. Це не стовідсоткова гарантія, але це різниця між агентом, який іноді вгадує, і агентом, який спирається на ваш текст.
Практична деталь: заземлення працює тільки тоді, коли база знань акуратна. Половина роботи над «розумним» агентом — це насправді робота над тим, щоб факти в базі були точні, несуперечливі й актуальні. Ми на це витрачаємо часу не менше, ніж на сам промпт.
Найважливіший запобіжник — чесне «я передам це людині»
Якщо забрати все інше й лишити один механізм, це буде ескалація. Агент, який уміє вчасно сказати «це питання я передам колезі, вони зв'яжуться з вами», у сто разів безпечніший за агента, який на все має відповідь. Бо впевнена неправильна відповідь коштує дорожче, ніж чесне «не знаю».
Ми навмисно проєктуємо агентів так, щоб поріг ескалації був радше низьким: сумнівне питання, чутлива тема, конфлікт, нестандартний запит, ознака, що клієнт роздратований — і розмова йде до людини разом із контекстом, щоб клієнту не довелося повторювати все спочатку. Людина в цій схемі не зникає. Агент забирає обсяг і рутину, а складне й ризиковане лишає людям — але вже відсортованим і підготовленим.
Це, до речі, знімає й головне заперечення скептиків: «я не хочу, щоб робот вирішував долю мого клієнта». Він і не вирішує. Він веде просте, а на складному кличе вас.
Голос додає власні пастки
Для голосових агентів до змістових запобіжників додаються ще й розмовні — те, чого в чаті просто не існує. Ми на них уже не раз наступали, тож перелічимо чесно.
- Перебивання (barge-in). Людина має могти перебити агента посеред фрази — і він має замовкнути й почати слухати, а не договорювати монолог поверх співрозмовника.
- Сторонні звуки. Стук по столу, кашель, шум на фоні не повинні сприйматися як «клієнт заговорив» і збивати агента. Це вирішується на рівні того, як система визначає мовлення, а не «на віру».
- Тиша. Якщо клієнт мовчить, агент має коректно це відпрацювати — перепитати, а не зависнути й не почати говорити сам із собою.
- Затримка. Довга пауза перед відповіддю руйнує відчуття живої розмови сильніше, ніж не ідеальна відповідь. Тож коротка, вчасна репліка часто краща за розлогу, але з затримкою.
Жоден із цих пунктів не видно на слайді «наш агент розмовляє». Усі вони вирішують, чи розмова відчувається живою — чи клієнт кладе слухавку за перші десять секунд.
Як ми тестуємо агента до того, як його почує клієнт
Запобіжники нічого не варті, поки ви не довели, що вони працюють. Тому перед запуском агент проходить не «поговорили — начебто ок», а окремий тестовий етап. Логіка та сама, що й у розробці ПЗ: якщо поведінку не перевірено автоматично, вважайте, що її нема.
Змагальні сценарії. Ми пишемо набір розмов, у яких навмисно намагаємось зламати агента: випитати ціну, витягнути пораду поза його компетенцією, спровокувати грубістю, збити інструкцією посеред чату, поставити каверзне питання на межі теми. Це не «щасливий шлях», а спеціально найгірші випадки.
Модель у ролі клієнта. Щоб прогнати десятки таких сценаріїв, ми піднімаємо другу модель як «складного співрозмовника», і вона реально розмовляє з агентом у симуляції — так само, як розмовляв би упереджений клієнт. Це дає масштаб, якого не даси ручним тестуванням.
LLM-суддя за чіткими метриками. Кожну відповідь агента оцінює окрема модель-суддя за наперед визначеними критеріями: чи не назвав ціну, чи заземлився на факт, чи ескалував, де треба, чи витримав тон. Не «на око», а бал за метрикою — тож результат можна порівнювати від версії до версії.
Регресійний набір. Усі ці перевірки лишаються назавжди. Змінили промпт, оновили базу знань, підкрутили одну відповідь — весь набір проганяється заново. Так виправлення в одному місці не ламає тихцем поведінку в іншому.
Ми свідомо будуємо цей тестовий контур на тих самих технологіях, що й самого агента, і без дорогих сторонніх платформ — щоб перевірка була частиною кожної ітерації, а не разовою церемонією перед здачею.
Чого запобіжники не роблять
Будемо чесні, бо це важливіше за красиві обіцянки. Запобіжники знижують ризик, а не прибирають його на нуль. Жодна серйозна команда не гарантує, що агент ніколи в житті не помилиться — хто це обіцяє, той або не розуміє технології, або лукавить. Мовні моделі імовірнісні за природою.
Тому наша позиція проста: агент має закривати той обсяг простих і повторюваних розмов, де він стабільно правильний, а все ризиковане — віддавати людині. Плюс моніторинг після запуску: ми слухаємо реальні розмови, ловимо нові граничні випадки, яких не передбачили, і повертаємо їх у тестовий набір. Безпека агента — це не стан «зробили й забули», а процес, який триває, поки агент працює.
Саме тому ми не продаємо «коробкового бота, який усе вміє». Ми будуємо агента під ваш процес, з вашими запобіжниками, перевіреного на ваших сценаріях — і лишаємось поруч, коли реальність підкидає те, чого не було в плані.
