Как GPU-инфраструктура ускоряет развитие финтех-сервисов

Itglobal.com предоставила GPU-инфраструктуру для обучения ML-моделей компании из финтех-сектора

Estimated reading time: 5 minutes

• Сокращение времени обучения моделей до 5-7 часов
• Уменьшение времени дообучения на обновленных данных до 2-3 часов
• Увеличение количества проверяемых гипотез на более чем 60%
• Сокращение срока вывода новых ML-сценариев в production на 40%

Содержание

• Вызовы, с которыми столкнулась компания
• Инфраструктурные ограничения
• Решение от Itglobal.com
• Результаты внедрения
• Практические рекомендации
• Как AI и n8n помогают в контексте этой темы
• Заключение

Вызовы, с которыми столкнулась компания

Финансовая компания, ставшая клиентом Itglobal.com, активно развивала цифровые сервисы в таких областях, как кредитование, скоринг и персонализированные предложения. Для оптимизации работы ее продуктов требуется регулярное обучение моделей на больших объемах данных, включая транзакционные, поведенческие и CRM-данные. Однако по мере роста числа сервисов существующая инфраструктура стала источником серьезных ограничений. Обучение моделей заняло до 30-36 часов, а доступ к вычислительным ресурсам был затруднен из-за необходимости распределять их между несколькими командами.

Инфраструктурные ограничения

Существовавшие серверные мощности не позволяли компании эффективно масштабировать свои ML-инициативы. Запуск нового on-prem кластера потребовал бы значительных капитальных вложений. Это, в свою очередь, сделало бы экономически нецелесообразным развертывание полноценной инфраструктуры для поддержки растущих потребностей бизнеса.

Решение от Itglobal.com

Понимая вызовы, с которыми столкнулась компания, Itglobal.com предложила облачную GPU-инфраструктуру на базе серверов Nvidia H200. Эта инфраструктура предоставила возможность гибкого масштабирования вычислительных ресурсов и поддержки различных конфигураций для выполнения задач от пилотного тестирования до полноценной эксплуатации в условиях production.

Особенности NVIDIA H200

Серверы Nvidia H200 обладают 141 ГБ памяти HBM3e и высокой пропускной способностью, что позволяет обучать сложные модели без ограничений по размеру пакетных данных. Технология MIG, обеспечивающая разделение одного GPU на несколько изолированных экземпляров, позволила нескольким командам работать параллельно без блокировки друг друга, что значительно увеличило эффективность работы.

Результаты внедрения

• Сократить время обучения моделей с десятков часов до 5-7;
• Уменьшить время дообучения на обновленных данных до 2-3 часов;
• Увеличить количество проверяемых гипотез на более чем 60%;
• Сократить срок вывода новых ML-сценариев в production на 40%.

Экономический эффект от отказа от собственных капитальных вложений и ускорения запуска цифровых сервисов оценен более чем в 14 миллионов рублей в год.

Практические рекомендации

1. Инвестируйте в облачные решения: рассмотрите переход на облачные GPU-инфраструктуры для масштабирования ML-процессов.
2. Практикуйте параллелизм: используйте технологии, позволяющие распределять нагрузку между командами.
3. Автоматизируйте процессы: интегрируйте решения по автоматизации, такие как n8n, для оптимизации работы с данными и моделями обучения.
4. Следите за новыми технологиями: делайте ставки на новейшие технологии GPU и ML для повышения производительности.
5. Обучайте команды: проводите обучение специалистов по работе с новыми ML-инструментами и инфраструктурой.

Как AI и n8n помогают в контексте этой темы

Переход на GPU Cloud не только улучшил производительность вычислений, но и открыл новые возможности для автоматизации процессов, таких как сбор и обработка данных для обучения моделей. Платформа n8n может помочь в автоматизации рутинных задач, связанных с интеграцией данных из различных источников, настройки CI/CD для развертывания ML-моделей и управления их жизненным циклом. Это позволяет снизить время на выполнение задач и увеличивает общую эффективность работы команды.

Заключение

Успех внедрения GPU-инфраструктуры от Itglobal.com стал важным шагом на пути к цифровой трансформации компании в условиях конкурентного финтех-рынка. Использование мощных вычислительных ресурсов, наряду с интеграцией технологий автоматизации и машинного обучения, позволяет бизнесу адаптироваться к новым вызовам и эффективно развивать свои цифровые инициативы.

Хотите внедрить AI и автоматизацию под вашу задачу — оставьте заявку на консультацию. Подписывайтесь, чтобы не пропустить новые разборы и кейсы по AI-автоматизации.

Часто задаваемые вопросы (FAQ)

• Какова основная цель использования GPU для ML? — Основная цель заключается в повышении производительности и сокращении времени обучения ML-моделей.
• Что такое технология MIG? — MIG (Multi-Instance GPU) позволяет разделять один GPU на несколько изолированных экземпляров для параллельной работы.
• Как автоматизация помогает в ML? — Автоматизация ускоряет процессы интеграции данных, развертывания и управления жизненным циклом ML-моделей.