Содержание
ByteDance готовит титана: 10 триллионов параметров для конкуренции с лидерами ИИ
Китайский технологический гигант ByteDance, известный прежде всего как создатель популярной социальной сети TikTok, делает амбициозную ставку на развитие собственных передовых технологий искусственного интеллекта. В отличие от некоторых конкурентов, предпочитающих идти по пути дистилляции существующих разработок, ByteDance сосредоточена на создании самобытных моделей. По сообщениям Reuters, в настоящее время команда разработчиков компании активно работает над масштабной языковой моделью (LLM) с беспрецедентным числом параметров — 10 триллионов.
Эта амбициозная разработка призвана вывести ByteDance на один уровень с лидерами в области генеративного ИИ, в частности, с моделями семейства Claude от американского стартапа Anthropic. Хотя Anthropic официально не раскрывает точные данные о своих разработках, по неофициальной информации, их флагманская модель Claude Mythos 5 насчитывает около 8 триллионов параметров, а более ранние версии, такие как Fable 5, — порядка 5 триллионов. Важно отметить, что количество параметров является лишь одним из факторов, определяющих возможности модели. Оно напрямую связано с объемом данных, которые модель способна обрабатывать и хранить, однако качество самой модели, ее производительность и эффективность в первую очередь зависят от качества обучающих данных и применяемых методов обучения.
Для сравнения, одна из крупнейших китайских LLM, Kimi 3 от Moonshot, имеет чуть менее 3 триллионов параметров, и до недавнего времени считалась лидером в КНР. Разработка модели ByteDance с 10 триллионами параметров знаменует собой значительный шаг вперед для китайской индустрии ИИ.
Время и ресурсы на пути к совершенству
Процесс создания столь масштабной LLM требует значительных временных и ресурсных затрат. По сведениям из инсайдерских источников, ByteDance находится на этапе предварительного обучения модели. Этот этап, известный как претренинг, обычно занимает от трех до шести месяцев. Только после завершения этого критически важного этапа и последующей тонкой настройки модель будет готова к публичному запуску.
Масштаб проекта подчеркивается и размером команды, задействованной в разработке. Около 2000 высококвалифицированных специалистов, работающих как в Китае, так и за его пределами, вносят свой вклад в создание этой передовой технологии. В команду входят не только программисты и инженеры, но и научные исследователи, специалисты по разметке данных и переводчики, что свидетельствует о комплексном подходе к разработке.
Основатель ByteDance, Чжан Имин, регулярно подчеркивает важность долгосрочной стратегии компании в области развития искусственного интеллекта. Он мотивирует сотрудников, отмечая, что даже временное отставание от конкурентов не является поводом для уныния, если речь идет о достижении стратегической цели — создания собственной мощной ИИ-модели. ByteDance не просто стремится догнать лучшие западные разработки, но и намерена превзойти их, предлагая миру новые возможности в сфере искусственного интеллекта.
Стоит упомянуть, что ByteDance активно развивает и другие направления в области генеративного ИИ. Несколькими неделями ранее компания представила Seedance 2.5 — видеомодель, способную генерировать 30-секундные видеоклипы в разрешении 4K, что демонстрирует широкий спектр интересов компании в этой сфере.
