У минулому всі намагалися перейти на хмарні технології, але витрати на обчислювальну потужність на етапі інференції змусили багато команд усвідомити: довгострокова та масштабна AI-інференція в хмарі швидко з'їдає гроші. AI-орієнтовані програми більше підходять для перенесення ключових завдань інференції на локальні дата-центри, що дозволяє зменшити затримку та зекономити на пропускній здатності та витратах на оренду хмари.
Суперечка за пам'ять є типовою ознакою на початку навчання глибокого навчання(, чия відеопам'ять більша, той і виграє), але сьогодні:
Обмеження пропускної спроможності даних, що зберігаються на GPU, безпосередньо впливають на QPS інференції.
Швидкість взаємодії між GPU та CPU/прискорювальною картою є верхньою межею продуктивності конвеєра.
Потужність AI кластера на одиночному стенді може досягати десятків кіловат, а нерегламентований дизайн PD може безпосередньо заблокувати масштаб розгортання Обчислювальної потужності.
Якщо розташування дата-центрів все ще залишилося в традиційній парадигмі дизайну Web/бази даних 2015 року, це призведе до прямих проблем під навантаженням AI.
Перегляньте наші висновки: 20 технічних експертів про нові тенденції апаратного забезпечення, які бізнеси повинні спостерігати, через @forbes
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
У минулому всі намагалися перейти на хмарні технології, але витрати на обчислювальну потужність на етапі інференції змусили багато команд усвідомити: довгострокова та масштабна AI-інференція в хмарі швидко з'їдає гроші. AI-орієнтовані програми більше підходять для перенесення ключових завдань інференції на локальні дата-центри, що дозволяє зменшити затримку та зекономити на пропускній здатності та витратах на оренду хмари.
Суперечка за пам'ять є типовою ознакою на початку навчання глибокого навчання(, чия відеопам'ять більша, той і виграє), але сьогодні:
Обмеження пропускної спроможності даних, що зберігаються на GPU, безпосередньо впливають на QPS інференції.
Швидкість взаємодії між GPU та CPU/прискорювальною картою є верхньою межею продуктивності конвеєра.
Потужність AI кластера на одиночному стенді може досягати десятків кіловат, а нерегламентований дизайн PD може безпосередньо заблокувати масштаб розгортання Обчислювальної потужності.
Якщо розташування дата-центрів все ще залишилося в традиційній парадигмі дизайну Web/бази даних 2015 року, це призведе до прямих проблем під навантаженням AI.
Перегляньте наші висновки:
20 технічних експертів про нові тенденції апаратного забезпечення, які бізнеси повинні спостерігати, через @forbes