АНО Национальный технологический центр цифровой криптографии
Организация
  • Об организации
  • Органы управления
  • Документы
  • СМИ о нас
  • Реквизиты
  • Полезное
Проекты
  • Результаты научной деятельности
  • Наши проекты
Новости
  • В стране
  • Доверенный ИИ
  • Кадры
  • Новости организации
  • Новости отрасли
Публикации
  • Интервью
  • ИИ
  • История криптографии
  • Кадры
  • Криптография
  • Мероприятия
  • Персональные данные
  • Связь
Полезное
Мероприятия
Контакты
Ещё
    Задать вопрос
    info@ntc-cc.ru
    Адрес: г.Москва, вн.тер.г. муниципальный округ Раменки, Раменский бульвар д.1
    Почтовый адрес: 119192, г.Москва,
    а/я 57, тел.: +7 (495) 363-82-75
    • Вконтакте
    • Telegram
    • YouTube
    • Одноклассники
    АНО Национальный технологический центр цифровой криптографии
    Национальный
    Cервис
    Мультисканер
    Функционирование НСМ приостановлено в связи с отсутствием финансирования
    Организация
    • Об организации
    • Органы управления
    • Документы
    • СМИ о нас
    • Реквизиты
    • Полезное
    Проекты
    • Результаты научной деятельности
    • Наши проекты
    Новости
    • В стране
    • Доверенный ИИ
    • Кадры
    • Новости организации
    • Новости отрасли
    Публикации
    • Интервью
    • ИИ
    • История криптографии
    • Кадры
    • Криптография
    • Мероприятия
    • Персональные данные
    • Связь
    Полезное
    Мероприятия
    Контакты
      АНО Национальный технологический центр цифровой криптографии
      Организация
      • Об организации
      • Органы управления
      • Документы
      • СМИ о нас
      • Реквизиты
      • Полезное
      Проекты
      • Результаты научной деятельности
      • Наши проекты
      Новости
      • В стране
      • Доверенный ИИ
      • Кадры
      • Новости организации
      • Новости отрасли
      Публикации
      • Интервью
      • ИИ
      • История криптографии
      • Кадры
      • Криптография
      • Мероприятия
      • Персональные данные
      • Связь
      Полезное
      Мероприятия
      Контакты
        АНО Национальный технологический центр цифровой криптографии
        Национальный
        Cервис
        Мультисканер
        Функционирование НСМ приостановлено
        АНО Национальный технологический центр цифровой криптографии
        • Организация
          • Назад
          • Организация
          • Об организации
          • Органы управления
          • Документы
          • СМИ о нас
          • Реквизиты
          • Полезное
        • Проекты
          • Назад
          • Проекты
          • Результаты научной деятельности
          • Наши проекты
        • Новости
          • Назад
          • Новости
          • В стране
          • Доверенный ИИ
          • Кадры
          • Новости организации
          • Новости отрасли
        • Публикации
          • Назад
          • Публикации
          • Интервью
          • ИИ
          • История криптографии
          • Кадры
          • Криптография
          • Мероприятия
          • Персональные данные
          • Связь
        • Полезное
        • Мероприятия
        • Контакты
        info@ntc-cc.ru
        Адрес: г.Москва, вн.тер.г. муниципальный округ Раменки, Раменский бульвар д.1
        Почтовый адрес: 119192, г.Москва,
        а/я 57, тел.: +7 (495) 363-82-75
        • Вконтакте
        • Telegram
        • YouTube
        • Одноклассники
        • Главная
        • Новости и события
        • Новости отрасли
        • Побег из матрицы и новые методы квантизации

        Побег из матрицы и новые методы квантизации


        Побег из матрицы и новые методы квантизации
        27 июня 2024
        Новости отрасли

        Ученые разработали инновационный метод, позволяющий запускать системы обработки естественного языка без использования матричного умножения. Это открытие может значительно снизить вычислительные затраты при работе с крупными языковыми моделями, такими как ChatGPT.

        Матричное умножение (MatMul) — это операция, при которой две матрицы комбинируются для создания новой. Для выполнения этой процедуры матрицы должны быть совместимы по размерам: количество столбцов первой матрицы должно совпадать с количеством строк второй. В результате умножения получается матрица, где каждый элемент вычисляется как сумма произведений соответствующих элементов строки первой матрицы и столбца второй матрицы. Метод используется в различных областях, таких как компьютерная графика, физика, и анализ данных, для решения систем уравнений, трансформаций и других математических задач.

        До сих пор работа LLM требовала огромных вычислительных ресурсов. Этот математический процесс играет ключевую роль в функционировании нейронных сетей: он сопоставляет поступающую информацию с заранее определенными параметрами (весами), что позволяет программе генерировать наиболее вероятные ответы на запросы. Однако по мере того, как системы искусственного интеллекта становились мощнее и популярнее, матричное умножение стало лишь ограничивать общую производительность. Даже использование мощных графических процессоров, специально предназначенных для таких вычислений, не смогло полностью решить проблему.

        Новый подход, предложенный исследователями, радикально меняет способ обработки данных в ИИ. Вместо использования 16-битных чисел с плавающей запятой для весов, разработанная система оперирует всего тремя значениями: -1, 0 и 1. Это нововведение позволяет существенно сократить объем необходимых вычислений. Кроме того, ученые создали новые функции, выполняющие те же типы операций, что и предыдущий метод, но с использованием упрощенного принципа.

        Были внедрены новые методы квантизации, которые позволили сократить количество используемых весов без потери качества работы. Это и привело к снижению требований к вычислительной мощности, что само по себе уже является значительным достижением. Однако ключевым прорывом стала замена традиционных трансформерных блоков на новую архитектуру под названием MatMul-free linear gated recurrent units (MLGRU). Именно эта инновация позволила полностью исключить необходимость в матричном умножении при обработке языковых данных, что раньше считалось невозможным.

        Исследование опубликовано на сервере препринтов arXiv и ожидает рецензирования. Несмотря на это, работа уже привлекла внимание научного сообщества своим новаторским подходом к решению проблемы высоких вычислительных затрат в ИИ. Если эффективность метода подтвердится в ходе дальнейших исследований, это может привести к созданию более доступных и энергоэффективных систем ИИ.

        Cannot find 'template1' template with page ''
        Подписаться

        Назад к списку
        Организация
        Проекты
        Новости
        Публикации
        Полезное
        Мероприятия
        Контакты
        • Вконтакте
        • Telegram
        • YouTube
        • Одноклассники
        info@ntc-cc.ru
        Адрес: г.Москва, вн.тер.г. муниципальный округ Раменки, Раменский бульвар д.1
        Почтовый адрес: 119192, г.Москва,
        а/я 57, тел.: +7 (495) 363-82-75
        Подписка на рассылку
        Политика конфиденциальности
        © 2023 - 2025 АНО Национальный технологический центр цифровой криптографии
        Поздравляем