Hon Hai Research Institute lanciert LLM in traditionellem Chinesisch mit Schlussfolgerungsfähigkeiten
Taipei, 10. März 2025 (ots/PRNewswire)
Erste Version des AI Research Center zeigt gute Leistungen in Mathematik und logischem Denken
Das Hon Hai Research Institute gab heute die Einführung des ersten traditionellen chinesischen Large Language Model (LLM) bekannt und setzte damit einen weiteren Meilenstein in der Entwicklung der taiwanesischen KI-Technologie mit einer effizienteren und kostengünstigeren Methode zur Modellschulung, die in nur vier Wochen abgeschlossen wurde.
Das Institut, das von der HonHai Technology Group („Foxconn") (TWSE:2317), dem weltweit größten Elektronikhersteller und führenden Anbieter technologischer Lösungen, unterstützt wird, gab bekannt, dass das LLM – Codename FoxBrain – als Open Source verfügbar sein und in Zukunft öffentlich geteilt werden soll. Es wurde ursprünglich für Anwendungen in den internen Systemen der Gruppe entwickelt und deckt Funktionen wie Datenanalyse, Entscheidungsunterstützung, Zusammenarbeit an Dokumenten, Mathematik, Schlussfolgerung und Problemlösung sowie Code-Generierung ab.
FoxBrain zeigt nicht nur leistungsstarke Verständnis- und Schlussfolgerungsfähigkeiten, sondern ist auch für den Sprachstil der taiwanesischen Benutzer optimiert und zeigt hervorragende Leistungen in Tests zum mathematischen und logischen Denken.
„In den letzten Monaten haben sich die Vertiefung der Denkfähigkeiten und die effiziente Nutzung von Grafikprozessoren allmählich zum Mainstream im Bereich der KI entwickelt. Unser FoxBrain-Modell hat eine sehr effiziente Trainingsstrategie übernommen, die sich auf die Optimierung des Trainingsprozesses konzentriert, anstatt blind Rechenleistung zu akkumulieren", sagte Dr. Yung-Hui Li, Direktor des Forschungszentrums für Künstliche Intelligenz am Hon Hai Research Institute. „Durch sorgfältig konzipierte Trainingsmethoden und die Optimierung von Ressourcen haben wir erfolgreich ein lokales KI-Modell mit leistungsstarken Argumentationsfähigkeiten entwickelt."
Der FoxBrain-Trainingsprozess wurde von 120 NVIDIA H100 GPUs unterstützt, mit NVIDIA Quantum-2 InfiniBand-Netzwerken skaliert und in nur etwa vier Wochen abgeschlossen. Im Vergleich zu Inferenzmodellen, die kürzlich auf den Markt gebracht wurden, setzt die effizientere und kostengünstigere Modelltrainingsmethode einen neuen Meilenstein für die Entwicklung der KI-Technologie in Taiwan.
FoxBrain basiert auf der Meta Llama 3.1 Architektur mit 70B Parametern. In den meisten Kategorien des TMMLU+ Testdatensatzes übertrifft es Llama-3-Taiwan-70B in der gleichen Größenordnung, insbesondere in Mathematik und logischem Denken (TMMLU+ Benchmark von FoxBrain, siehe Abb. 1). Im Folgenden finden Sie die technischen Spezifikationen und Trainingsstrategien für FoxBrain:
- Etablierte Methoden zur Datenanreicherung und Qualitätsbewertung für 24 Themenkategorien durch proprietäre Technologie, die 98 Milliarden Token hochwertiger Vorab-Trainingsdaten für traditionelles Chinesisch generiert
- Länge des Kontextfensters: 128 K-Marken
- Verwendung von 120 NVIDIA H100 GPUs für das Training, mit Gesamtkosten von 2.688 GPU-Tagen
- Einsatz einer parallelen Trainingsarchitektur mit mehreren Knoten, um hohe Leistung und Stabilität zu gewährleisten
- Einsatz einer einzigartigen Adaptive-Schlussfolgerungs-Reflexionx-Technik, um das Modell für autonomes Denken zu trainieren
In den Testergebnissen zeigte FoxBrain umfassende Verbesserungen in Mathematik im Vergleich zum Basismodell Meta Llama 3.1. Bei mathematischen Tests erzielte es im Vergleich zu Taiwan Llama, dem derzeit besten traditionellen chinesischen Großmodell, erhebliche Fortschritte und übertraf Metas aktuelle Modelle derselben Klasse in der Fähigkeit zum mathematischen Denken. Auch wenn das DeepSeek-Destillationsmodell noch nicht ganz ausgereift ist, liegt seine Leistung bereits sehr nahe an den weltweit führenden Standards.
Die Entwicklung von FoxBrain - von der Datenerfassung, -bereinigung und -erweiterung bis hin zu Continual Pre-Training, Supervised Finetuning, RLAIF und zur Adaptiven Schlussfolgerungs-Reflexion - wurde Schritt für Schritt durch unabhängige Forschung durchgeführt, wobei trotz begrenzter Rechenressourcen Vorteile erzielt wurden, die an KI-Modelle von Weltklasse heranreichen. Diese umfangreiche Sprachmodellforschung zeigt, dass Taiwans technologisches Talent im Bereich der KI-Modelle mit internationalen Konkurrenten mithalten kann.
Obwohl FoxBrain ursprünglich für interne Gruppenanwendungen konzipiert wurde, wird die Gruppe auch in Zukunft mit Technologiepartnern zusammenarbeiten, um die Anwendungsmöglichkeiten von FoxBrain zu erweitern, seine Open-Source-Informationen zu teilen und KI in der Fertigung, im Lieferkettenmanagement und in der intelligenten Entscheidungsfindung zu fördern.
Während der Modellschulung bot NVIDIA Unterstützung durch den Taipei-1 Supercomputer und technische Beratung, so dass das Hon Hai Research Institute die Modellvorschulung mit NVIDIA NeMo erfolgreich abschließen konnte. FoxBrain wird auch ein wichtiger Motor für die Modernisierung der drei großen Plattformen von Foxconn sein: Smart Manufacturing. Smart EV. Smart City.
Die Ergebnisse von FoxBrain sollen zum ersten Mal auf einer großen Konferenz während des NVIDIA GTC 2025 Session Talk „ From Open Source to Frontier AI vorgestellt werden: Build, Customize, and Extend Foundation Models" am 20. Märzvorgestellt werden .
Informationen zum Hon Hai Research Institute
Das Institut verfügt über fünf Forschungszentren. Jedes Zentrum beschäftigt durchschnittlich 40 hochqualifizierte Fachkräfte im Bereich Forschung und Entwicklung, die sich alle auf die Erforschung und Entwicklung neuer Technologien, die Stärkung der Technologie- und Produktinnovationspipeline von Foxconn, die Bemühungen zur Unterstützung des Wandels der Gruppe von „Muskelkraft" zu „Intelligenz" und die Verbesserung der Wettbewerbsfähigkeit der „3+3"-Strategie von Foxconn konzentrieren.
Informationen zu Foxconn finden Sie hier.
View original content: https://www.prnewswire.com/news-releases/hon-hai-research-institute-lanciert-llm-in-traditionellem-chinesisch-mit-schlussfolgerungsfahigkeiten-302397149.html
Pressekontakt:
Jimmy Huang,
Stellvertretender Pressesprecher,
media@foxconn.com
Original-Content von: Hon Hai Research Institute, übermittelt durch news aktuell