Уверенный стажёр
Самое неприятное в языковой модели не глупость, а уверенность. Спросите, она ответит. Не знает, всё равно ответит, тем же ровным голосом. Модель одинаково спокойно говорит правду и несёт херню, и по интонации их не отличить.
Это называют галлюцинацией. Слово слишком нежное. По-человечески это враньё без злого умысла.
Представьте стажёра. Вежливый, быстрый, никогда не говорит «не знаю». Первую неделю от него все в восторге. На второй он называет клиенту цену, которую придумал сам, и отвечать за неё почему-то вам.
Что будет, если такой стажёр работает в клинике
Пациент пишет в чат: сколько стоит чистка, больно ли ставить имплант, работаете ли в воскресенье. Модель без ограничений ответит на все три. Красиво, уверенно и, возможно, неправильно.
Неправильная цена это скандал у стойки администратора. «Работаем в воскресенье» это человек, который приехал к закрытой двери. Неправильное «не больно» ещё хуже.
Каждый такой ответ стоит клинике денег и доверия, а модели не стоит ничего.
Как устроена Mia
Mia это ассистент для стоматологии. У неё одно правило: отвечать только из документов клиники. Прайс-лист, описание услуг, график врачей, частые вопросы пациентов. Ничего от себя.
Под каждым ответом стоит источник: «Прайс-лист, стр. 2». Администратор открывает и проверяет за пять секунд.
И главное. Если в документах ответа нет, Mia так и говорит. Не угадывает, не пишет «скорее всего», а честно отказывает и отправляет к живому человеку.
«Не знаю» продаётся плохо
На демо это выглядит слабее, чем хотелось бы. Человек пришёл за волшебной коробкой, а коробка говорит «этого в документах нет».
Рынок продаёт обратное. В каждой второй презентации ассистент, который отвечает на любой вопрос. Никто не делает слайд «а вот здесь он честно промолчал».
Разница проверяется одним вопросом: кто отвечает, когда он ошибся. Модель в суд не вызовут.
Та же логика в моей системе
Система для поиска работы получает ссылку на вакансию и через восемьдесят секунд выдаёт письмо. Сорок семь вакансий.
Ни одно письмо не ушло само. Каждое ждёт в телеграме, пока я прочитаю и нажму.
Этот шаг можно убрать, и система станет «полностью автоматической», звучит красивее. Не убираю. Письмо уходит от моего имени, и если там написано что-то не то, стыдно будет мне.
Машина пишет. Отправляет человек.
Где проходит граница
Правило, которым пользуюсь сам. Пусть машина работает там, где ошибку видно и её дёшево исправить: черновик, сводка, поиск по документам, первое прочтение. И пусть останавливается там, где ошибка уходит наружу под вашим именем: ответ клиенту, цена, диагноз, письмо, деньги.
Хороший признак системы: вы можете точно сказать, где она остановится. Если не можете, она остановится сама, в самый неудобный момент и без предупреждения.
Три вопроса тому, кто продаёт вам ассистента
Откуда он берёт ответ. Если слышите «он умный, он сам разберётся», дальше можно не слушать.
Может ли показать источник каждого ответа. Не «в целом из ваших документов», а конкретный файл и место.
Что он скажет, если ответа нет. Попросите показать прямо на встрече. Задайте вопрос, которого точно нет в ваших документах.
Если он бодро ответил, поздравляю: вы только что посмотрели, как он будет врать вашим клиентам.
