# Чем ИИ полезен для видеосвязи?
ПО TrueConf AI Server — это решение на базе ИИ (машинного обучения) для протоколирования (распознавания речи) в конференциях от компании Труконф. Оно позволяет в автоматическом режиме распознать аудио с ваших мероприятий, проведённых в TrueConf Server / TrueConf Enterprise, и сохранить его в текстовом виде с разбиением по спикерам. Дополнительно доступно составление конспектов (саммари) для полученных стенограмм, при этом можно выбрать тип нужного текста. Пользователи могут загрузить любой файл (как аудио-, так и видео- запись), чтобы получить стенограмму не только для мероприятий Труконф.
Интеграция в режиме полного доступа с передачей аудио для распознавания доступна только с TrueConf Server 5.5.0+ и TrueConf Enterprise 1.6+. Подробнее смотрите в разделе интеграции.
Благодаря бесшовной интеграции с решениями TrueConf Server и TrueConf Enterprise пользователи могут получить доступ к протоколам через свой сервер видеосвязи без необходимости авторизовываться в отдельном сервисе. Это повышает удобство использования и уменьшает число разных веб-страниц, на которые надо входить пользователю. Мы рекомендуем использовать личный кабинет сервера видеосвязи для работы с протоколами, хотя остаётся возможность входа также через личный кабинет TrueConf AI Server.
Решение предоставляется в виде готового к установке в серверную стойку программно-аппаратного комплекса (ПАК) с развёрнутым ИИ сервером.
В дальнейшем понятия расшифровка, протоколирование, распознавание речи — одно и то же, и обозначают процесс анализа аудио конференции для получения её стенограммы (протокола).
# Основные возможности
Автоматическое определение выступающего для корректного сохранения авторства каждой реплики.
Формирование полной стенограммы конференции с разделением фраз по каждому из участников конференции (включая терминалы в переговорных комнатах).
Возможность выбрать основной язык для распознавания аудиодорожек конференции.
Отображение на протоколе таймкодов (относительного времени) для отдельных фраз.
Автоматическое проставление пунктуации.
Автоматическое проставление больших букв в начале предложений (капитализация).
Корректное распознавание речи при использовании докладчиками разных языков.
Корректное распознавание не только распространённых в речи слов, но и редко используемых.
Распознавание известных аббревиатур.
Корректное распознавание чисел и дат и запись их в цифровом формате.
Успешное распознавание аудиодорожки в сложных акустических условиях: шум, тихая речь, одновременное выступление нескольких участников.
Удаление при распознавании паразитных звуков от спикеров, например "хмм", "ээээ" и т.п.
Хранение аудиодорожки конференции и распознанного протокола.
Возможность ручного удаления любой аудиозаписи вместе со стенограммой.
Отсутствие ограничений на количество распознаваемых конференций за счет формирования очереди задач.
Поддержка обработки аудио на системах как с одним, так и с несколькими GPU NVIDIA.
Наличие веб-интерфейса для работы с распознанными конференциями.
Авторизация на сервере ИИ с помощью учетной записи пользователя сервера видеоконференцсвязи, в том числе если на стороне заказчика используется служба каталогов LDAP, например, Active Directory.
Возможность интеграции ИИ сервера с одним или несколькими серверами видеоконференцсвязи.
Отображение данных об обрабатываемых конференциях, как минимум: название, уникальный идентификатор, время начала и длительность.
Наличие встроенного в веб-интерфейс плеера для воспроизведения аудиофайла конференции или звонка.
Возможность настройки доступа к расшифровке как для участников конференции, так и для произвольного пользователя сервера видеоконференцсвязи.
Отображение в реальном времени статуса распознавания конференции.
Экспорт результатов расшифровки в текстовом виде (в формате .txt) или в табличном виде (в формате .csv).
Экспорт общей аудиодорожки конференции.
Уведомление модератора конференции об успешном сохранении её записи на стороне сервера транскрибации.
Уведомление модератора конференции об успешном окончании процесса транскрибации и предоставление ссылки на результат.
Уведомление пользователей сервера видеоконференцсвязи о том, что им предоставлен доступ к просмотру транскрибации конференции.
Составление конспекта (краткой выжимки) по тексту распознанной конференции.
Загрузка пользователем ИИ-сервера загрузить любой аудиофайл или видеофайл, как конференции Труконф так и любую другую запись: обнаружение в загруженном аудиопотоке различных докладчиков по их голосам и распределение по ним реплик в стенограмме.
Сквозной поиск текста по всем доступным пользователю стенограммам.
Возможность у пользователей самостоятельно выбрать тип конспекта в зависимости от потребностей, например, составить список задач или общие выводы о мероприятии.
Возможность у администратора системы задавать свои правила (типы конспектирования), которые смогут выбирать пользователи для составления конспекта.
# Принцип работы
Для полноценного использования совместно с TrueConf AI Server требуется TrueConf Server версии 5.5.0 и выше. Имеется возможность подключения в режиме чтения TrueConf Server версии 5.4.5 и старше.
Возможность интеграции в режиме полного доступа с ИИ сервером регулируется:
дополнительным лицензированием расширения для TrueConf Server;
своей лицензией на TrueConf AI Server, которая регулирует количество серверов видеосвязи, которые можно подключить к ИИ, а также зависит от мощности приобретённого ПАК.
Используется следующий алгоритм:
Устанавливается на физическую или виртуальную машину TrueConf Server (или TrueConf Enterprise в случае крупных заказчиков).
- В серверную стойку заказчика (или в арендованном ЦОД) устанавливается ПАК TrueConf AI Server.
Устанавливается связь сервера видеосвязи с ИИ сервером с помощью ключа интеграции. При этом можно подключить несколько TrueConf Server к одному экземпляру ИИ сервера.
В соответствии с настройками TrueConf Server аудиозапись конференции отправляется на TrueConf AI Server.
Происходит распознавание речи и создание стенограммы. Это может быть автоматическое распознавание сразу после окончания мероприятия или запускаться вручную владельцем конференции в личном кабинете ИИ сервера. Также владелец может поделиться исходным аудио и полученным текстом с любым участником и даже другим пользователем своего или федеративного TrueConf Server.
Пользователь по желанию может запустить составление конспекта (выжимки) выбранного типа на основе полученной стенограммы.
Помимо передачи аудио от TrueConf Server имеется возможность загрузить любой медиа-файл с аудиодорожкой и составить для него стенограммы.