Добавь сайт в закладки! Инструкция по ссылке.
Модель китайской фирмы Moonshot с 2,8 трлн параметров получила открытые веса и продемонстрировала конкурентоспособные результаты, вызвав резкую реакцию со стороны OpenAI
Искусственный интеллект413:52
Китайская компания Moonshot анонсировала открытую модель искусственного интеллекта Kimi K3, которая стремительно поднялась на верхние строчки рейтинга Arena. Появление этой модели усилило соперничество между закрытыми коммерческими системами OpenAI и Anthropic и открытыми ИИ-моделями.
Kimi K3 относится к моделям крупного масштаба: она включает 2,8 трлн параметров, поддерживает работу с текстом и изображениями и предназначена для контекстного окна примерно в 1 млн токенов. Разработчики утверждают о высокой скорости работы и сопоставимой производительности по сравнению с другими моделями аналогичного уровня.
Одной из характеристик Kimi K3 стала архитектура Kimi Delta Attention (KDA), предназначенная для более эффективной обработки длинных запросов. В современных больших языковых моделях используется механизм внимания (attention), который позволяет системе учитывать связи между различными частями текста, однако с увеличением длины контекста растёт объём промежуточных данных, необходимых для функционирования модели.
KDA применяет гибридный подход: вместо постоянного увеличения памяти для всего контекста модель объединяет 3 состояния сжатого представления информации и одно состояние полного доступа к данным. Это позволяет сохранять краткие «конспекты» о ключевых фрагментах диалога, при этом периодически обращаясь к полному представлению контекста. Такой метод уменьшает нагрузку на механизм KV cache — специальную область памяти, где модель хранит уже обработанную информацию, чтобы не пересчитывать её заново при каждом новом шаге.
Тем не менее, оптимизация памяти не подразумевает автоматического снижения всех аппаратных затрат модели. В Kimi K3 также применена технология WideEP, связанная с распределением вычислений между ускорителями, поэтому общий объём используемой высокоскоростной памяти HBM может оставаться значительным.
Увеличение количества открытых моделей вызвало реакцию со стороны конкурентов. Дин Болл (Dean W. Ball), руководитель направления стратегического развития OpenAI, высказался в социальной сети X, что распространение открытых ИИ-моделей может привести к сценарию, который он охарактеризовал как «полный ИИ-коммунизм», где искусственный интеллект будет рассматриваться как общественное благо, а не как коммерческий продукт. Он также раскритиковал китайские открытые модели, назвав их подход «стороной замедления для крупных инвестиций в вычислительную инфраструктуру».
Darth SaharaИсточники:wccftechИскусственный интеллект4Искусственный интеллектOpenAIБольшие языковые моделиОткрытые моделиKimi K3Moonshot13:52
ИсточникПоделись видео: