TrueConf

# Установка и регистрация ИИ сервера

Общий порядок действий для интеграции ИИ сервера с вашим TrueConf Server или TrueConf Enterprise:

  • подключить к корпоративной сети TrueConf AI Server в виде ПАК или установить как ПО (состоит из модулей стенографирования и конспектирования);

  • зарегистрировать ИИ сервер;

  • сгенерировать ключ интеграции на стороне каждого TrueConf Server который надо подключить к ИИ серверу;

  • в панели управления TrueConf AI Server подключить все сервера видеосвязи.

Машины с серверами видеосвязи и ИИ сервером должны видеть друг друга по своим FQDN (доменным именам).

После этого можно будет уже непосредственно на стороне TrueConf Server или каждой конференции активировать отправку на ИИ сервер аудио для распознавания.

# Где взять ИИ сервер?

TrueConf AI Server предлагается в виде готового ПАК (программно-аппаратного комплекса) для установки в серверную стойку. При этом специалисты Труконф предварительно настроят его под ваш сервер видеоконференцсвязи. Вам потребуется только установить ПАК в серверную стойку, подключить питание и сеть (Ethernet). По согласованию со специалистами компании Труконф доступна установка решения на оборудовании заказчика как ПО.

При этом рекомендуем использовать варианты минимум с 1 видеокартой уровня NVIDIA RTX A4000 и выше, т.к. на GPU распознавание происходит в разы быстрее чем на CPU. Можно использовать несколько GPU, тогда скорость распознавания будет расти соответствующим образом.

Для приобретения TrueConf AI Server обращайтесь к менеджерам компании Труконф любым удобным способом. Специалисты компании подберут вместе с вами подходящий вариант оборудования в зависимости от желаемой скорости распознавания конференций. Скорость распознавания аудио и составления стенограммы не привязана жёстко к длительности мероприятия, а зависит от количества речи (насыщенности эфира). В общем случае примерно можно ориентироваться на следующие данные для составления стенограммы:

  • сервер с 1 видеокартой уровня NVIDIA RTX A4000 будет распознавать 60 мин аудио в среднем за 5-7 мин;

  • сервер с 2 видеокартами уровня NVIDIA RTX A4000 будет распознавать 60 мин аудио в среднем за 3 мин;

  • сервер с 4 видеокартами уровня NVIDIA RTX A4000 будет распознавать 60 мин аудио в среднем за 1.5 мин.

Для составления конспекта требуются отдельные видеокарты (т.к. работает отдельная модель ИИ, см. ниже в описании установки). Скорость составления конспекта в среднем ожидается такая:

  • сервер с 1 видеокартой уровня NVIDIA RTX A4000 будет составлять конспект для 60 мин аудио в среднем за 4 мин;

  • сервер с 2 видеокартами уровня NVIDIA RTX A4000 будет составлять конспект для 60 мин аудио в среднем за 2 мин;

  • сервер с 1 видеокартой уровня NVIDIA RTX A6000 будет составлять конспект для 60 мин аудио в среднем за 1 мин.

Если TrueConf AI Server приобретается в виде ПО, то перед началом работы требуется его развернуть по инструкции ниже.

Указанные ниже характеристики позволят в среднем рассчитывать на распознавание 60 мин конференции за 5 минут (скорость сильно зависит от активности участников и является просто средним ориентиром).

# Системные требования

Параметр Значение
Операционная система Современная ОС семейства Linux с поддержкой Docker, например Debian 12+, Astra Linux 1.7 SE+ и пр.
Процессор Уровня Intel Xeon Silver 4310T и выше (Intel Scalable 3 поколения с 10+ ядрами). Поддержана только архитектура процессора x86-64 (она же AMD64 или x86_64).
Видеокарта (GPU) Для составления стенограммы: 1 видеокарта уровня NVIDIA RTX A4000 16 Гб и лучше
Для составления конспекта: 1 видеокарта уровня NVIDIA RTX A4000 16 Гб и лучше
Оперативная память Минимум 16 Гб в двухканальном режиме, рекомендуется 32 Гб
Встроенное хранилище SSD минимум 512 Гб, в общем случае объём зависит от желаемого времени хранения данных

Подробнее системные требования под ожидаемую нагрузку рекомендуется заранее обсудить с представителями компании Труконф.

# Установка модулей

TrueConf AI Server состоит из двух отдельных и независимых модулей: стенографирования (распознавания речи) и составления конспекта. Во время развёртывания решения необходимо установить и настроить оба модуля.Вы можете установить данные модули как на одной машине так и раздельно на двух машинах.

Рекомендуем использовать способ с установкой модулей на одной машине с несколькими GPU, таким образом каждый модуль будет работать на отдельным GPU, что в итоге даст минимизацию задержек и ускорение процесса обмена данными между модулями.

Обратитесь к менеджеру Труконф для получения двух .deb пакетов, которые содержат в себе 2 модуля ИИ-сервера.

Перед установкой убедитесь, что у вас самые свежие версии драйверов NVIDIA и пакета CUDA.

# Установка модуля транскрибации (стенографирования)

  1. В ОС на машине, куда устанавливаете модуль транскрибации, в терминале выполните команду:
sudo apt update

2. Установите модуль с помощью команды:

sudo apt install ./trueconf-ai-server.deb

Во время установки модуля будут скачиваться дополнительные файлы с хранилища packages.trueconf.com, поэтому важно иметь доступ во внешнюю сеть и открытый порт 443. Т.к. модели ИИ достаточно большие, то скачивание может занять некоторое время.

После установки в директории /opt/trueconf/ai-server/etc/transcription/ необходимо отредактировать файл config_transcription_node.toml. Измените строки:

  • workers = x — где Х это кол-во экземпляров ИИ-модели транскрибатора (стенографиста).

  • cores_per_worker = x — где Х это кол-во выделяемых потоков CPU на для одного транскрибатора. Рекомендуемое значение — не более 8.

При использовании GPU для работы транскрибации необходимо в той же директории в файле docker-compose-conf.yaml отредактировать строку device_ids: ['X'] — где X это id GPU, допускается запись в виде массива. Например device_ids: ['0'] если в системе только одна видеокарта, или device_ids: ['0,1,2'] если в системе несколько GPU.

Для проверки количества GPU и их id выполните команду:

sudo lshw -c display

В выводе терминала нужно найти строку physical id: для каждого GPU, в ней будет показан id.

После установки модуля и редактирования файлов конфигурации запустите службу с помощью команды:

sudo systemctl start trueconf-ai-transcription

# Установка модуля конспектирования (суммаризации)

Модуль конспектирования нельзя использовать отдельно, обязательно сначала устанавливается модуль стенографирования.

  1. В ОС на машине, куда устанавливаете модуль конспектирования, в терминале выполните команду:
sudo apt update

2. Установите модуль с помощью команды:

sudo apt install ./trueconf-ai-summarization.deb

Во время установки модуля будут скачиваться дополнительные файлы с хранилища packages.trueconf.com, поэтому важно иметь доступ во внешнюю сеть и открытый порт 443.

После установки в директории /opt/trueconf/ai-server/etc/summarization/ необходимо отредактировать файл config_summary_node.toml. Измените строки:

  • workers = x — где Х это кол-во одновременно работающих экземпляров ИИ-модели конспектирования.

  • cores_per_worker = x — где Х это кол-во выделяемых потоков CPU на для одного экземпляра ИИ-модели конспектирования. Рекомендуемое значение — не более 8.

При использовании GPU для работы (конспектирования) суммаризации необходимо в той же директории в файле /opt/trueconf/ai-server/etc/summarization/docker-compose-conf.yaml сделать следующие изменения:

  1. Убрать комментарии (то есть убрать в начале символы #) в блоке:
#runtime: nvidia
    #deploy:
    #    resources:
    #      reservations:
    #        devices:
    #          - driver: nvidia
    #            device_ids: ['0']
    #            capabilities: [gpu]

2. Отредактировать строку device_ids: ['X'] — где X это id GPU, допускается запись в виде массива. Например, надо указать device_ids: ['0'], если в системе только одна видеокарта, или device_ids: ['0,1,2'] если в системе несколько GPU.

Для проверки количества GPU и их id выполните команду:

sudo lshw -c display

В выводе терминала нужно найти строку physical id: для каждого GPU, в ней будет показан id.

После установки модуля и редактирования файлов конфигурации запустите службу с помощью команды:

sudo systemctl start trueconf-ai-summarization

# Вход в панель управления

После установки ПАК TrueConf AI Server в серверную стойку и подключения к корпоративной сети включите его.

Теперь вы можете войти в панель управления TrueConf AI Server под учётной записью администратора по ссылке вида: https://[ai-address]/admin/, где [ai-address] — IP или FQDN (доменное имя) вашего ИИ-сервера. Или же просто перейти по адресу сервера и нажать внизу ссылку Войти как администратор.

По умолчанию данные для входа:

Логин: admin

Пароль: admin

Обязательно смените пароль после регистрации ИИ сервера! Для этого перейдите в раздел Учетные записи и выберите свою учётную запись. Там же вы можете добавить другие учётные записи для администрирования ИИ сервера как показано далее.

# Регистрация (активация)

Лицензия на TrueConf AI Server определяет:

  • число серверов видеосвязи которые могут быть подключены к данному ИИ серверу в режиме полного доступа;

  • количество видеокарт которые установлены на машине с ИИ сервером;

  • (опционально) в лицензии также может быть задан список TrueConf Server которые можно интегрировать с полным доступом.

До тех пор пока вы не зарегистрируете TrueConf AI Server, его панель управления будет заблокирована и у вас на экране будет отображаться только форма регистрации. Доступно два способа регистрации: онлайн и офлайн.

Сразу же после регистрации требуется перейти к настройке интеграции с серверами видеосвязи.

# Онлайн регистрация

Для онлайн регистрации у машины с TrueConf AI Server должен быть открыт доступ к регистрационному серверу reg.trueconf.com по TCP порту 443. Данный способ предлагается по умолчанию:

/docs/ai-server/media/reg_online/ru.png

Укажите в окне регистрации ваш ключ (вы его скорее всего получили от своего менеджера по почте), и доменное имя под которым ИИ сервер будет доступен для серверов видеосвязи. После чего просто нажмите кнопку Зарегистрировать и дождитесь окончания процесса.

# Офлайн регистрация

Если нет возможности организовать доступ к reg.trueconf.com то используйте вариант офлайн регистрации. Для этого также укажите регистрационный ключ и доменное имя под которым ИИ сервер будет доступен для серверов видеосвязи. После чего нажмите кнопку Перейти к offline регистрации:

/docs/ai-server/media/reg_offline/ru.png

Нажмите кнопку Сгенерировать чтобы создать специальный файл .srg.

Передайте этот файл компании Труконф, например, по почте или через техподдержку. Вы получите в ответ другой файл, который вам надо будет загрузить в соответствующее поле и нажать кнопку Зарегистрировать:

/docs/ai-server/media/reg_offline_finish/ru.png

# Просмотр сведений о лицензии

Чтобы просмотреть сведения о текущей лицензии в любой момент после регистрации TrueConf AI Server, перейдите в раздел О лицензии:

/docs/ai-server/media/license/ru.png

Там же вы сможете заново зарегистрировать сервер новым ключом по кнопке Перерегистрировать. Также можно обновить лицензию с регсервера reg.trueconf.com с текущим ключом, например, если обновилось число доступных по лицензии видеокарт. Для этого нажмите кнопку Обновить лицензию.

# Обновление с версии 1.0.0 на 1.0.1

Перед обновлением убедитесь, что у вас самые свежие версии драйверов NVIDIA и пакета CUDA.

В версии TrueConf AI Server 1.0.1 появился ряд новых функций, что привело к обновлению некоторых внутренних механизмов ПО. Потому для успешного обновления с 1.0.0 на 1.0.1 требуется обязательно придерживаться следующих правил:

  1. Обратиться в техническую поддержку за файлом скрипта sai-backup.sh.

  2. Перенести полученный файл на машину с установленным ИИ сервером в удобное место, например, /home/$USER$/sai-backup.sh.

  3. Перейти в директорию с файлом и выполнить команду:

sudo ./sai-backup.sh --create

4. Рядом со скриптом появятся 2 директории database-backup и files-backup, содержащие важные данные из ИИ сервера.

5. Удалите ИИ сервер с помощью команды:

sudo apt purge trueconf-ai-server

Убедитесь, что в директории /opt/trueconf/ai-server пусто (например, с помощью команды ls /opt/trueconf/ai-server).

6. Установите ИИ сервер как показано выше.

7. Перейдите в каталог со скриптом sai-backup.sh и выполните команду:

sudo ./sai-backup.sh --restore=database-backup/[db-dump].dump

где [db-dump].dump — название единственного файла .dump из директории database-backup.

8. Запустите каждый модуль ИИ сервера с помощью команд:

sudo systemctl start trueconf-ai-transcription
sudo systemctl start trueconf-ai-summarization

9. Убедитесь, что всё работает нормально. Если нет, то обращайтесь в техническую поддержку.

← Мониторинг ИИ сервера →