Pressemitteilung: Cloudera stellt neuen KI-Inferenzdienst vor
- Photo Info
- Download
Cloudera stellt neuen KI-Inferenzdienst vor
Cloudera AI Inference mit NVIDIA NIM Microservices beschleunigt die Entwicklung und den Einsatz von Generativer KI (GenAI). Für Unternehmen bedeutet dies eine verbesserte Leistung, robuste Sicherheit und skalierbare Flexibilität.
München, 08.11.2024 – Cloudera , führender Anbieter für hybride Datenplattformen, Analytik und KI, stellt den KI-Inferenzdienst Cloudera AI Inference vor. Hierbei werden Kernkompetenzen von Cloudera und NVIDIA kombiniert, indem vertrauenswürdige Daten von Cloudera als Grundlage für zuverlässige KI genutzt und mit NVIDIA Accelerated Computing und der NVIDIA AI Enterprise Software-Plattform sichere und performante KI-Anwendungen bereitstellt werden. Als einer der branchenweit ersten KI-Inferenzdienste mit eingebetteter NIM-Microservice-Fähigkeit rationalisiert Cloudera AI Inference die Bereitstellung und Verwaltung umfangreicher KI-Modelle. Mit der Hilfe von Cloudera AI Inference können Unternehmen das wahre Potenzial ihrer Daten nutzen, um GenAI von der Pilotphase bis zur vollständigen Umsetzung voranzutreiben.
Die Einführung von GenAI schreitet rasant voran: Eine weltweite Studie von Deloitte ergab, dass mehr als zwei Drittel der Unternehmen ihre GenAI-Budgets im dritten Quartal dieses Jahres erhöht haben. Die größten Hindernisse für die Einführung von GenAI sind Risiken und Bedenken in den Bereichen Compliance und Governance. Um diese Zweifel zu entkräften, müssen Unternehmen dazu übergehen, KI-Modelle und -Anwendungen privat zu betreiben – entweder On-Premises oder in öffentlichen Clouds. Diese Umstellung erfordert sichere und skalierbare Lösungen, die komplexe Do-it-yourself-Ansätze vermeiden.
Cloudera AI Inference schützt sensible Daten vor dem Abfluss zu nicht-privaten, von Anbietern gehosteten KI-Modelldiensten durch eine sichere Entwicklung und Bereitstellung innerhalb der eigenen Kontrolle der Unternehmen. Der auf NVIDIA-Technologie basierende Service hilft bei der Erzeugung vertrauenswürdiger Daten für eine zuverlässige KI mit hoher Geschwindigkeit für eine effiziente Entwicklung KI-gesteuerter Chatbots, virtueller Assistenten und agentenbasierter Anwendungen.
Entwickler können LLMs in Unternehmensqualität mit bis zu 36-facher Leistung mit NVIDIA Tensor Core GPUs und fast 4-fachem Durchsatz im Vergleich zu herkömmlichen CPUs (Central Processing Units) erstellen, anpassen und bereitstellen. Die nahtlose Benutzererfahrung integriert die Bedienoberfläche (UI) und Programmierschnittstellen (APIs) direkt in NVIDIA NIM Microservice-Container, wodurch Befehlszeilenschnittstellen (CLI) und separate Überwachungssysteme überflüssig werden. Die Service-Integration mit der AI Model Registry von Cloudera verbessert zudem die Sicherheit und Governance durch die Verwaltung von Zugriffskontrollen sowohl für Modell-Endpunkte als auch für den Betrieb. Anwender profitieren von einer einheitlichen Plattform, auf der alle Modelle – ob LLM-Implementierungen oder herkömmliche Modelle – nahtlos über einen einzigen Service verwaltet werden.
Wichtige Funktionen von Cloudera AI Inference:
- Erweiterte KI-Fähigkeiten: Nutzung von NVIDIA NIM-Microservices zur Optimierung von Open-Source-LLMs, einschließlich LLama und Mistral, für bahnbrechende Fortschritte bei der Verarbeitung natürlicher Sprache (NLP), Computer Vision und anderen KI-Bereichen.
- Hybride Cloud und Datenschutz: Ausführung von Workloads vor Ort oder in der Cloud, mit Bereitstellung in der Virtual Private Cloud (VPC) für verbesserte Sicherheit und Einhaltung von Vorschriften.
- Skalierbarkeit und Überwachung: Automatische Skalierung, Hochverfügbarkeit (HA) und Leistungsverfolgung in Echtzeit, um Probleme zu erkennen und zu beheben und eine effiziente Ressourcenverwaltung zu gewährleisten.
- Offene APIs und CI/CD-Integration: Standardkonforme APIs für die Modellbereitstellung, -verwaltung und -überwachung, um eine nahtlose Integration mit CI/CD-Pipelines und MLOps-Workflows (Machine Learning Operations) zu ermöglichen.
- Unternehmenssicherheit: Durchsetzung des Modellzugriffs mit Funktionen für Servicekonten, Zugriffskontrolle, Datenherkunft und Auditing.
- Risiko-gesteuerte Bereitstellung: Durchführung von A/B-Tests und Canary-Rollouts für kontrollierte Modell-Updates.
„Unternehmen sind bereit, in GenAI zu investieren. Dafür benötigen sie skalierbare sowie sichere, konforme und gut verwaltete Daten“, sagt Branchenanalyst Sanjeev Mohan. „Die Einführung von KI in großem Umfang in der privaten Cloud führt zu einer Komplexität, die mit DIY-Ansätzen nur schwer zu bewältigen ist. Cloudera AI Inference überbrückt diese Lücke, indem es fortschrittliches Datenmanagement mit der KI-Expertise von NVIDIA verbindet und so das volle Potenzial der Daten freisetzt und sie gleichzeitig schützt. Mit unternehmensgerechten Sicherheitsfunktionen wie Service-Accounts, Zugriffskontrolle und Audits können Unternehmen ihre Daten zuverlässig schützen und Workloads vor Ort oder in der Cloud ausführen, um KI-Modelle mit der nötigen Flexibilität und Governance effizient einzusetzen.“
„Wir freuen uns über die Zusammenarbeit mit NVIDIA, um Cloudera AI Inference auf den Markt zu bringen und eine einzige AI/ML-Plattform bereitzustellen. Sie unterstützt nahezu alle Modelle und Anwendungsfälle, sodass Unternehmen sowohl leistungsstarke KI-Apps mit unserer Software erstellen als auch in Cloudera ausführen können“, sagt Dipto Chakravarty, Chief Product Officer bei Cloudera. „Mit der Integration von NVIDIA AI für eine intelligentere Entscheidungsfindung durch fortschrittliche Leistung, schafft Cloudera Innovationen für seine Kunden, indem es zuverlässige KI-Apps mit vertrauenswürdigen Daten in großem Umfang erstellt.“
„Unternehmen müssen heute generative KI nahtlos in ihre bestehende Dateninfrastruktur integrieren, um Geschäftsergebnisse zu erzielen“, sagt Kari Briski, Vice President of AI Software, Models and Services bei NVIDIA. „Durch die Integration von NVIDIA NIM Microservices in die AI Inference Plattform von Cloudera können Entwickler einfach vertrauenswürdige GenAI-Anwendungen erstellen […].“
Über Cloudera
Cloudera ist die einzige echte hybride Plattform für Daten, Analytik und KI. Cloudera verwaltet 100-mal mehr Daten als reine Cloud-Anbieter und unterstützt damit Unternehmen weltweit, wertvolle und vertrauenswürdige Erkenntnisse aus ihren Daten zu gewinnen – unabhängig von ihrer Art in jeder Public- oder Private-Cloud. Das Open Data Lakehouse von Cloudera bietet ein skalierbares und sicheres Datenmanagement mit portablen Cloud-nativen Analysen. Damit können Kunden GenAI-Modelle auf ihre Daten anwenden, gleichzeitig den Datenschutz wahren und verantwortungsvolle, zuverlässige KI-Implementierungen gewährleisten. Die weltweit größten Organisationen aus den Bereichen Finanzdienstleistungen, Versicherungen, Medien, Produktion und Behörden vertrauen auf Cloudera, um ihre Daten zu nutzen und das bisher Unmögliche möglich zu machen – heute und in Zukunft.
Für mehr Informationen besuchen Sie Cloudera.com und folgen Sie uns auf LinkedIn und X. Cloudera und verbundene Marken sind Marken oder eingetragene Marken von Cloudera, Inc. Alle anderen Firmen- und Produktnamen können Marken der jeweiligen Eigentümer sein.
Pressekontakt Akima Media Anja Batur/ Andrea Gruber Tel.: +49 (0) 89 17959 18-0 cloudera@akima.de