Компания Autonomous Inc. выпустила новую рабочую станцию Brainy — компактное и мощное устройство для локального запуска и обучения ИИ-моделей без облака.
В отличие от обычных ПК, Brainy способен поддерживать до восьми видеокарт RTX 4090 и обеспечивает производительность свыше петафлопса.
Станция ориентирована на разработчиков, которым важно не зависеть от облачных решений, очередей на GPU и почасовой оплаты. По-сути, он представляет собой миниатюрный дата-центр. Brainy подходит для обучения больших языковых моделей, задач компьютерного зрения, анализа медицинских данных, оптимизации логистики и других направлений.
Система поддерживает PyTorch, TensorFlow, ONNX, CUDA и TensorRT. Пользователь может начать с двумя видеокартами и расширить систему до восьми — это удобно для стартапов, которые не сразу определились с нужной мощностью. Модели можно запускать локально, а затем переносить в облако или серверный кластер без потерь совместимости.
Разработчики Brainy уделили большое внимание защите конфиденциальных данных. То есть, при работе с чувствительными частными данными или финансовыми операциями можно быть уверенным, что информация не покинет пределы офиса. Такая модель особенно актуальна для рынков США и ЕС, где действуют строгие регуляции.
Autonomous также сотрудничает с программой NVIDIA Inception, предоставляя пользователям доступ к техподдержке, обучающим курсам и инструментам оптимизации.
По словам разработчиков, использование Brainy позволяет сэкономить тысячи долларов в год по сравнению с облачными GPU-сервисами, хотя сама станция стоит недешево.
Стоит отметить, что у подобных разработок уже есть конкуренты — Lambda Labs с решениями на базе A100 и H100, а также Scan Computers и Digital Storm.
