В прошлом все старались перейти на облачные технологии, но стоимость вычислительной мощности на этапе вывода заставила многие команды осознать, что длительный и крупномасштабный AI вывод слишком быстро сжигает деньги в облаке. AI-приложения изначально лучше подходят для переноса ключевых задач вывода на локальные серверы, что позволяет как снизить задержку, так и сэкономить на полосе пропускания и аренде облака.
Соревнование за память является типичной особенностью раннего этапа обучения глубокому обучению ( у кого больше видеопамяти, тот и выигрывает ), но сегодня:
Предел пропускной способности данных, хранящихся в GPU, напрямую влияет на QPS вывода.
Скорость взаимодействия между GPU и CPU/ускорительными картами является пределом производительности конвейера.
Однопроцессорный AI кластер может потреблять десятки киловатт, а нерациональный PD-дизайн может напрямую заблокировать масштаб развертывания вычислительной мощности.
Если раскладка дата-центра все еще остается на уровне традиционной веб/база данных бизнес- модели 2015 года, то под нагрузкой ИИ это приведет к падению.
Посмотрите наши идеи: 20 технических экспертов о новых тенденциях в области оборудования, которые бизнесу стоит отслеживать через @forbes
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
В прошлом все старались перейти на облачные технологии, но стоимость вычислительной мощности на этапе вывода заставила многие команды осознать, что длительный и крупномасштабный AI вывод слишком быстро сжигает деньги в облаке. AI-приложения изначально лучше подходят для переноса ключевых задач вывода на локальные серверы, что позволяет как снизить задержку, так и сэкономить на полосе пропускания и аренде облака.
Соревнование за память является типичной особенностью раннего этапа обучения глубокому обучению ( у кого больше видеопамяти, тот и выигрывает ), но сегодня:
Предел пропускной способности данных, хранящихся в GPU, напрямую влияет на QPS вывода.
Скорость взаимодействия между GPU и CPU/ускорительными картами является пределом производительности конвейера.
Однопроцессорный AI кластер может потреблять десятки киловатт, а нерациональный PD-дизайн может напрямую заблокировать масштаб развертывания вычислительной мощности.
Если раскладка дата-центра все еще остается на уровне традиционной веб/база данных бизнес- модели 2015 года, то под нагрузкой ИИ это приведет к падению.
Посмотрите наши идеи:
20 технических экспертов о новых тенденциях в области оборудования, которые бизнесу стоит отслеживать через @forbes