Южнокорейский стартап FuriosaAI продолжает разработку новых продуктов на фоне растущего спроса на эффективные решения для инфраструктуры искусственного интеллекта.
Компания предлагает аппаратные решения для запуска крупных языковых моделей (LLM) без необходимости дорогостоящего обновления центров обработки данных и высоких энергозатрат, связанных с использованием GPU.
Последний продукт компании, RNGD Server, представляет собой устройство для работы с ИИ, основанное на чипах FuriosaAI RNGD. Каждая система обеспечивает вычислительную мощность 4 петаFLOPS в формате FP8 и оснащена 384 ГБ памяти HBM3, потребляя при этом 3 кВт энергии.
Для сравнения, серверы Nvidia DGX H100 могут потреблять более 10 кВт. Это позволяет разместить пять RNGD Server в стандартной стойке центра обработки данных мощностью 15 кВт, тогда как такая же стойка подходит только для одного DGX H100.
Большинство центров обработки данных ограничены мощностью 8 кВт на стойку или меньше. Запуск современных моделей ИИ часто требует новых систем охлаждения и питания.
RNGD Server совместим с API OpenAI. Стартап недавно завершил раунд финансирования серии C на $125 миллионов и расширил партнёрство с LG AI Research. LG использует аппаратное обеспечение RNGD для работы своих моделей EXAONE и заявляет, что производительность инференса на ватт превышает показатели GPU более чем в два раза.
FuriosaAI также сотрудничала с OpenAI, продемонстрировав работу чат-бота gpt-oss 120B с открытыми весами в реальном времени на двух акселераторах RNGD.
Новый RNGD Server будет получать обновления SDK FuriosaAI, включая межчиповую тензорную параллельность, оптимизации компилятора и новые форматы квантования.
RNGD Server в настоящее время тестируется с глобальными клиентами и, как ожидается, станет доступен для заказа в начале 2026 года.
Источник:
techradar