ВЕРБЕКС

Стратегическое направление: «Новые решения синтеза и распознавания речи, позволяющие проводить распознавание речи на больших расстояниях, с учетом помех/шумов, а также распознавание в условиях наличия нескольких источников звуков». Платформа обеспечивает контроль и совершенствования работы сотрудников, общающихся с клиентами в условиях высокой зашумленности посредством записи и анализа их речи. Текущие клиенты: BORK, группа ПИК, Yota, Amway, X-Fit, «Газпромбанк (ПАО)».

Онлайн облачный агент, выполняющий функцию преобразования речи внутри посылаемого аудиофайла в текст. Продукт является внешним сервисом для распознавания речи внутри дорожек аудио и видео файлов с учетом их форматов. Инструмент позволяет зарегистрировать Телеграм-бота Verbex ASR Telegram Bot (далее – «Бот») в мессенджере Telegram и присвоить ему уникальное, ранее не заданное в других ботах, имя. Результатом работы Бота является буквенная транскрипция, описывающая наиболее близкую гипотезу того, что произносится внутри файла с позиции описания речи. Данную гипотезу Бот присылает собеседнику в виде текстового документа ответным действием на посылку в общий чат аудио или видео файла(ов) для анализа содержимого. Ответное сообщение должно быть представлено в виде TXT документа, где содержатся рекапитализированные с учетом пунктуации распознанные из речи предложения, ограниченные заглавной буквой начала каждого предложения и точкой. При этом название TXT документа должно совпадать с названием аудиофайла до его расширения. Бот присылает ответное сообщение с отсылкой (ремарка, тег сообщения в диалоге), то есть ответное сообщение бота с файлом тегирует в диалоге входной, чтобы при тапе на ответное сообщение диалог быстро проматывался вверх до входного.

Аудиобейдж (носимая аудиоаналитика), предназначением которого является передача аудиоданных в режиме реального времени в сетях Bluetooth LE. Может состоять из двух печатных плат, одна из которых может быть гибкой, а также аккумулятора. Также в своем составе может иметь планарную катушку индуктивности для беспроводной зарядки (в составе второй платы), совместимой с Qi-стандартом, разъём micro USB для проводной зарядки, слот для карты MicroSD, LED-индикацию для отображения состояния устройства, кнопку. Бейдж может работать без док. станции и с ее участием.

Онлайн облачный агент, выполняющий функцию преобразования речи внутри посылаемого аудиофайла в текст. Внутренний инструмент для оценки качества выпущенных моделей систем распознавания речи. Инструмент позволяет зарегистрировать Телеграм-бота Verbex ASR Telegram Bot (далее – «Бот») в мессенджере Telegram и присвоить ему уникальное, ранее не заданное в других ботах, имя. Результатом работы Бота является буквенная транскрипция, описывающая наиболее близкую гипотезу того, что произносится внутри файла с позиции описания русской речи. Данную гипотезу Бот присылает собеседнику в виде текстового сообщения ответным действием на посылку в общий чат аудиофайла для анализа содержимого

В рамках реализации проекта участником осуществляется продажа услуг через оnline канал с помощью Web сервиса на базе созданных участником продукта, в частности - программы для ЭВМ «Web сервис речевой аналитики VerbEx 1.0.» (Свидетельство о государственной регистрации программы для ЭВМ № 2021682109) (далее - VerbEx 1.0). В 2022 году была произведена интеграция ZOOM c VerbEx 1.0. Интеграция позволила осуществлять автоматическую заливку записей конференций Zoom в Verbex 1.0 для последующей транскрибации записей и формирования статистики. В результате данного решения у Verbex 1.0 появилась возможность анализа не только телефонных звонков и записей с бейджей, но и записей Zoom-конференций.

Программа для ЭВМ «Verbex Speechkit» представляет собой совокупность решений, позволяющих обращаться за функциями систем распознавания речи (ASR): за функцией отложенной ASR и за функциями потокового распознавания речи телефонной ASR. Описание возможных действий пользователей системы и интеграторов: Интерфейс системы содержит в себе фактически несколько располагаемых действий:  Функция загрузить файл для обработки через REST API. Файл – только аудио.  Поддерживаемые аудио форматы: wav  Поддерживаемые языки: Русский, Английский, Испанский, Португальский  Исходный файл остается на компьютере пользователя после его загрузки и преобразования в аудиофайл.  Функция кусочно-непрерывного распознавания речи, когда в режиме реального времени в систему приходят чанки – дискретный набор семплов, содержащих речь. Описание выходного результата:  Результатом распознавания файла через REST API является ответ, содержащий JSON файл.  Результатом работы gRPC сервиса распознавания речи является наиболее близкая текстовая транскрипция, поступающая по мере посылки кусочков сигнала в систему.  Результатом работы по MRCP интеграции является логгер того, о чем собеседники общаются в телефонном канале. Это по сути расшифровка телефонных переговоров – базовая функция. Иные особенности сервиса:  Сервис является асинхронным и поддерживает параллельные обращения с преобразованием с учетом максимальной нагрузки. При этом лишние задания пытаются быть исполненными параллельно для отложенного распознавания речи.  При поточном распознавании речи сервис обрабатывает несколько каналов параллельно, точное максимальное число каналов определяется конфигурацией оборудования, как правило, находящееся в диапазоне от 2 до 12 каналов в расчете на сервер.  Загрузка исходного материала происходит через сеть Интернет, преобразование и распознавание речи осуществляется внутри сервиса. Данные третьими лицами не передаются.  Отложенная система распознавания речи в некоторых случаях позволяет определять точное время произношения того или очередного слова.

Существует вид деловых служебных заданий, целью которых является текстовая расшифровка разговоров, содержащих речь, что позволяет осуществить разработанный продукт. Результатом таких расшифровок является набор Utterance – высказываний (высказыванием будем считать участок сигнала с известной тайм меткой начала и окончания). Каждое такое высказывание является акустически независимым событием, фиксируется для каждого из каналов записи, которая подается в систему. В инженерном плане высказывание - это речь одного спикера между началом ее произношения после длительной паузы и окончанием произношения этого участка речи – до начала очередной длительной паузы. Utterance выделяется с помощью VAD в общем случае. Примером задач протоколирования больших данных является транскрибирование переговоров ведения судебных дел, допросов, освидетельствования, дачи показаний, адвокатского опроса, протоколов совещания ВКС, проблемные интервью. Описание возможных действий пользователей Web-сервиса: Интерфейс системы содержит в себе располагаемые действия:  Кнопки «Загрузить файл, папку (группу) файлов для обработки». Файлы: аудио- или видео-файлы.  Поддерживаемые аудио форматы и кодеки: wav, flac, mp3, ogg, opus, aac  Поддерживаемые видео форматы: AVI, FLV, mp4, mkv, m4v. mov, wmv, h264, webm  Поддерживаемые языки: русский, английский. Исходные файл, папка (группа) файлов удаляются после их загрузки и преобразования в аудиофайл. Описание выходного результата: После загрузки, обработки и транскрибирования результатом работы является автоматически происходящее скачивания протокола в формате RTF (файл). Наименование файла образуется путем добавления имени оригинального файла без расширения и прибавления к нему постфикса _output_ASR_VERBEX. Внутри файла протокол выглядит как набор строк с символом переноса строки в конце каждой из них. Перед Utterance в каждой строке стоит номер канала, а также marking, в котором указаны тайм метки начала произношения фразы и окончания произношения фразы (utterance). Таким образом, протокол содержит в себе в детальном виде то, о чем говорилось и в какой момент времени. Внутри фразы при технической возможности производится нормализация предложения согласно правилам языка транскрибирования; под нормализацией подразумевается пунктуация, выправление правописания. В конце протокола ставится дата его создания, время его создания, указывается суммарная длительность протокола в минутах, а также вносится текст о том, что «данный протокол сгенерирован с помощью модели автоматического распознавания речи Verbex». Результирующий аудиофайл – смешанное в один канал содержимое протокола – встраивается в начале документа в виде вставки – эмбединга - непосредственно в документ в формате mp3 с битрейтом 48-64 Kbit. Иные особенности сервиса:  Сервис является асинхронным и поддерживет параллельные обращения с преобразованием. При этом лишние задания встают в очередь.  В общем случае сервис не имеет авторизации, ссылки на скачивания – временные, глубина хранения текстовых протоколов - 1 год.  Загрузка исходного материала, преобразование имеют Progress-bar, понятный для пользователя, с видимыми графическими событиями во время их прохождения.  Протокол оформляется единым шрифтом, с единым стилем, одинаковым размером, цвет букв – черный. Участок текста с таймметкой и номером канала – нижним подчеркиванием.