Meta планирует масштабное расширение ИИ с 1,3 миллионами графических процессоров и рекордным центром обработки данных

Гонка за превосходство в области ИИ усиливается, и Meta делает смелые шаги, чтобы оставаться впереди. Генеральный директор Марк Цукерберг объявил, что компания планирует закончить 2024 год с более чем 1,3 миллионами графических процессоров — это более чем вдвое больше ее текущего запаса корпоративных графических процессоров. Это расширение направлено на ускорение разработки возможностей ИИ Meta, включая предстоящую модель Llama 4, которая будет конкурировать с ChatGPT от OpenAI и Gemini от Google.

Фото предоставлено: Дэвид Пол Моррис | Bloomberg через Getty Images

Амбициозные цели Meta включают в себя обеспечение помощников ИИ для более чем миллиарда пользователей и создание «инженера ИИ», способного вносить непосредственный вклад в исследования и разработки. Для поддержки этих инициатив Цукерберг раскрыл планы по строительству огромного центра обработки данных, способного разместить 1 гигаватт вычислительной мощности к концу года, с окончательной мощностью, превышающей 2 гигаватта — беспрецедентный масштаб в вычислениях ИИ. Ожидается, что объект будет охватывать территорию, сопоставимую со значительной частью Манхэттена, и станет частью капитальных инвестиций в размере 65 миллиардов долларов в 2025 году.

Этот шаг происходит на фоне жесткой конкуренции. Суперкомпьютер Илона Маска на базе ИИ в Мемфисе нацелен на 1 миллион графических процессоров, в то время как проект Stargate стоимостью 500 миллиардов долларов Сэма Альтмана направлен на создание специализированных центров обработки данных для ИИ в США. Microsoft также выделила 80 миллиардов долларов на инфраструктуру с поддержкой ИИ, включая перезапуск ядерного объекта для удовлетворения спроса на электроэнергию.

Поскольку требования к мощности для центров обработки данных ИИ стремительно растут, достигая, по некоторым прогнозам, 5 гигаватт, гонка вычислений ИИ не показывает никаких признаков замедления. Инвестиции Meta подчеркивают ее приверженность лидерству в следующем поколении технологических инноваций.

Llama, или Large Language Model Meta AI, — это серия авторегрессивных языковых моделей, разработанных Meta AI, впервые запущенных в феврале 2023 года. Первоначальная модель Llama была доступна только как базовая модель, с весами, ограниченными для академических и исследовательских организаций по некоммерческой лицензии. Несмотря на строгий доступ, веса модели просочились в сеть вскоре после ее выпуска, вызвав дебаты о доступности и неправильном использовании в разработке ИИ.

Llama 2, представленная в июле 2023 года, ознаменовала собой поворотный момент, включив в себя тонко настроенные модели для чата и расширив его лицензирование, чтобы разрешить определенные коммерческие использования. Он также повысил производительность, обучаясь на 40% большем количестве данных, чем его предшественник. В августе 2023 года Meta выпустила Code Llama, вариант, специально разработанный для задач кодирования, продемонстрировав универсальность платформы.

Llama 3, представленная в апреле 2024 года, раздвинула границы еще дальше с помощью многоязычных и мультимодальных возможностей, улучшенных рассуждений и расширенных контекстных окон. Ее самая большая модель с 70 миллиардами параметров была предварительно обучена на 15 триллионах токенов, превзойдя конкурентов, таких как Gemini Pro 1.5, по ключевым показателям. К июлю 2024 года Llama 3.1 представила новаторскую версию с 405 миллиардами параметров, еще больше укрепив позицию Meta в ландшафте ИИ.

На протяжении всех своих итераций Llama способствовала развитию виртуальных помощников и инструментов кодирования Meta, одновременно внедряя инновации в многоязычные и мультимодальные системы искусственного интеллекта.