Интеграция с ИИ сервером
Интеграция с ИИ сервером
Отдельно рассмотрим как добавить к своему серверу видеосвязи ИИ возможности протоколирования мероприятий и составления кратких итогов.
Чтобы интегрировать в систему видеоконференцсвязи ИИ-возможности используется отдельное решение TrueConf AI Server. Протоколом (транскрипцией, расшифровкой, стенограммой) будем называть текст, который был получен распознаванием аудиодорожки конференции. Если для конференции настроено распознавание, то её аудио записывается в процессе проведения и передаётся на сторону ИИ-сервера в соответствии с указанными ниже настройками.
Для интеграции настройку требуется произвести на обеих сторонах:
в панели управления TrueConf Server в разделе Расширения → TrueConf AI Server (о чём рассказано далее);
Имеются следующие возможности интеграции:
расшифровка (составление протокола) проведённой конференции;
настройка доступа к протоколу;
отправка уведомлений о готовности стенограммы и предоставлении доступа к ней;
возможность настроить как автоматическое распознавание, так и ручной запуск процесса расшифровки.
Для настройки интеграции TrueConf Server с установленным TrueConf AI Server перейдите в раздел Расширения → TrueConf AI Server.
При начале процесса записи аудио для передачи на ИИ-сервер начинает отображаться индикатор в приложениях Труконф участников (рядом со счётчиком времени):
На стороне браузера (WebRTC), SIP/H.323 терминалов такой индикатор не появляется, но с помощью нашей поддержки можно активировать его специальной настройкой.
Общая схема передачи и хранения данных при интеграции с ИИ сервером
Передача данных происходит таким образом:
Пользователь включил распознавание конференции при её создании или "на лету" через расширенное управление.
На машине с установленным TrueConf Server создаётся и начинает писаться в отдельной папке для конференции файл .mp4 с аудио, но без видео. Если пользователь запускает и останавливает стенографирование несколько раз для одного сеанса связи, то файлов будет несколько.
Запись аудио для передачи на сторону ИИ сервера никак не зависит от функции записи конференций. Для передачи на протоколирование создаются отдельные файлы, но хранятся они в той же папке что и записи конференций.
После завершения записи (остановка стенографирование или окончание конференции) файл сразу отправляется на TrueConf AI Server.
После окончания передачи файла (он полностью загружен на ИИ-сервер) начинается его распознавание в соответствии с настройками: общими либо на уровне конференции (см. вкладку Основное). То есть создание текста может начаться не сразу и запись будет ждать, пока пользователь включит распознавание.
Пока стенограмма не будет создана, пользователь не сможет скачать исходное аудио в личном кабинете или в разделе стенограмм в приложении Труконф.
Если на стороне ИИ сервера есть возможность составления конспектов (итогов встречи), то генерировать их можно будет только после окончания составления стенограммы.
Если до того как запись была отправлена на ИИ сервер, она будет удалена на стороне TrueConf Server, то стенограмму создать не получится (записи же не будет у ИИ для работы с ней). Но если стенограмма была создана, то удаление записей на сервере не влияет на стенограмму. На стороне TrueConf AI Server есть свои настройки хранения аудио записей (ограничение на занимаемый объём). Стенограммы (текст) при удалении аудио не очищаются.
Уровни доступа к протоколам конференций
К серверу видеосвязи можно подключить один экземпляр TrueConf AI Server в режиме полного доступа и неограниченное число — в режиме чтения.
Чтение — это режим интеграции TrueConf Server с TrueConf AI Server, при котором пользователи сервера видеосвязи могут получить максимум доступ на просмотр и скачивание расшифровок.
Полный доступ — в этом режиме все пользователи сервера видеосвязи могут получить все права на работу с расшифровками помимо просмотра и скачивания: предоставлять доступ, запустить распознавание речи, удалить запись.
При этом доступ к каждой расшифровке настраивается отдельно и может переопределять настройки по умолчанию (см. далее).
Настройка подключения к ИИ серверу
Параметры связи с ИИ сервером задаются на вкладке Подключение.
Укажите доменное имя ИИ сервера в соответствующем поле (без префикса
http: / https:).В выпадающем списке выберите максимально возможный уровень доступа для ваших пользователей при подключении к указанному ИИ-серверу.
Нажмите кнопку Сгенерировать ключ чтобы получить ключ интеграции, который вам потребуется указать потом на стороне ИИ-сервера.
Если не требуется проверять подлинность SSL-сертификата (в целях теста или из-за проблем с использованием самоподписанного сертификата на стороне TrueConf AI Server), то отключите флажок Проверять SSL-сертификат.
Ниже вы увидите список добавленных ИИ-серверов, их ключей и кнопку для удаления ненужной конфигурации. Изменить ранее добавленный сервер нельзя, только удалить и добавить заново.
После генерации ключа вам (или другому администратору) потребуется настроить интеграцию на стороне TrueConf AI Server.
Просмотр списка готовых и ожидающих расшифровки стенограмм
На вкладке Стенограммы отображается список стенограмм всех конференций, которые прошли на вашем сервере и для них была активирована расшифровка:
В целях обеспечения конфиденциальности администратор сервера не имеет доступа к скачивания и настройки доступа к стенограммам. Администратор ИБ (то есть Security Admin) имеет доступ к содержимому стенограмм и настройке доступа к ним.
Для каждой записи можно перейти по ссылке на соответствующую конференцию и даже на страницу конкретной сессии (сеанса связи). Напоминаем, что у одной конференции может быть несколько сессий если она запускалась более одного раза.
Столбец Статус показывает текущее состояние каждой стенограммы, может принимать значение:
- В очереди — аудиозапись передана на сторону TrueConf AI Server и ждёт процесса расшифровки;
- Не распознано — запись не отправлена на сторону ИИ сервера и соответственно не была расшифрована (например, активировано ручное распознавание По запросу и оно ещё не запускалось);
- Распознано — аудиозапись была успешно отправлена на ИИ-сервер и расшифрована;
- Распознается — аудиозапись в процессе распознавания (будет показан примерный процент выполнения).
Для быстрого поиска нужных стенограмм можно использовать фильтрацию по названию или ID конференции, а также по времени проведения мероприятия и статусу самой расшифровки.
Чтобы запустить распознавание записи, нажмите кнопку 
(доступно если оно ещё не было начато).
Удалить стенограмму можно по кнопке 
. При этом будет удалена как расшифровка так и исходная соответствующая аудиодорожка конференции.
Можно выбрать с помощью флажков несколько стенограмм и удалить сразу их все.
Настройки параметров распознавания конференций
На вкладке Настройки вы можете указать общие правила передачи аудио на распознавание и отправки уведомлений.
Выберите логику активации записи аудио в выпадающем списке Правило включения: будут писаться все конференции, те для которых это выставлено на вкладке Дополнительно или же отключите запись.
После окончания конференции полученное аудио передаётся в сторону TrueConf AI Server, но процесс распознавания надо запускать отдельно. Если в блоке Распознавание записи активировать переключатель Автоматически то расшифровка будет стартовать сама для всех конференций (в порядке очереди на стороне ИИ сервера). Если же выбрать вариант По запросу то для нужной записи процесс распознавания надо будет запустить вручную из личного кабинета ВКС-сервера или ИИ-сервера.
Укажите язык, который будет выбираться по-умолчанию для всех конференций при их распознавании. Отметим, что в ИИ-сервер может определить момент когда происходит переход от базового языка на другой, и должен корректно распознавать разные языки в одном мероприятии, но базовый язык помогает корректнее делать расшифровку.
В параметре Доступ к стенограммам по умолчанию укажите кто из участников мероприятия получит доступ к расшифровке. Это не окончательные настройки, и для каждой конференции те, у кого полный доступ, смогут переопределить права для других пользователей из личного кабинета ВКС-сервера или ИИ-сервера. Доступны такие варианты доступа по умолчанию: полный доступ у ведущих и чтение для остальных участников; всем участникам открыт полный доступ; записи доступны только ведущим и администратору сервера и никак не доступны остальным; записи доступны только администратору сервера и лишь он сможет настроить доступы в случае необходимости для участников. Во всех случаях кроме варианта Записи доступны только администратору TrueConf Server владелец конференции всегда имеет доступ к стенограмме.
Параметр Срок хранения нераспознанных записей определит период времени сколько каждая аудиозапись будет ждать распознавания до автоматического удаления ради уменьшения занятого сервером видеосвязи места. Удаление происходит только на стороне TrueConf Server и только тех записей, которые не были переданы на ИИ сервер.
В блоке Уведомления вы можете выбрать учётную запись, от лица которой будут отправляться уведомления пользователям о событиях расшифровки. Это не обязательный шаг, но повысит удобство работы с протоколами мероприятий, т.к. все заинтересованные участники получат полезное уведомление. Вы можете отправку уведомлений следующих типов: о сохранении аудиозаписи в базу данных (БД) ИИ сервера, о готовности расшифровки и предоставлении доступа к записи или стенограмме.
Дополнительно вы можете отметить флажок Информировать администратора о системных проблемах чтобы отправлять на email администратора (задаётся в основных настройках сервера) сообщения о проблемах с интеграцией. Например, о том что на стороне TrueConf AI Server заканчивается место, которое было выделено для хранения аудиофайлов данного экземпляра сервера видеосвязи.
Для отправки уведомлений не требуется какого-то постоянно запущенного чат-бота, и соответственно не используется дополнительно никаких онлайн-лицензий. Вам просто потребуется создать отдельную учётную запись для оповещений и всё.