large language models

As we had a very positive echo of the Summer School 2023 “Data Science for Explainable and Trustworthy AI”, another one will be organised in 2024 on the topic of “Generative AI”.

The rise of Generative AI, especially with the advancements in Large Language Models (LLMs), marks a transformative era in artificial intelligence that is expanding across all disciplines. LLMs aim to bridge the communication gap between machines and humans, paving the way for models that can grasp the nuances of human language and generate outputs in various formats that mimic human cognition and creativity.
The critical moment for Generative AI came with the adoption of neural networks, particularly transformer-based architectures, which have become its backbone. These models stand out for their profound ability to digest and learn from extensive corpora and datasets, and also to generate original, contextually rich content. But we are just at the beginning. The emerging models present challenges related to ethics, reliability, the way we experiment with these models, the scope of their inferences, their applications to more specific domains, etc. All this has created a vibrant field of work and opens the doors to a community that we hope will find the right forum in this Summer School.

Institutions

• STATEC, Luxembourg; EuADS Treasurer
• U of Bristol, UK; EuADS Vice-President
• U of Göttingen, Germany
• Germany; EuADS Vice-President
• LMU Munich, Germany; EuADS President
• U of Essex, UK
• CUNEF Universidad, Spain
• U of Cordoba, Spain
• STATEC, Luxembourg
• Bielefeld Center for Data Science, Germany

Verfahren des maschinellen Lernens im Kontext der Sprachverarbeitung sind momentan in aller Munde. Noch ist unklar, wie und wo genau Systeme wie etwa ChatGPT in der Forschung zum Einsatz kommen werden. Schon lange werden jedoch, auch in den Digital Humanities, mit regel-basierten und statistischen Verfahren Texte automatisiert analysiert. Für Forschende bleibt es wichtig ein Verständnis der Methoden zu entwickeln, um so jeweils die passende Technik zur Anwendung zu bringen und dabei insbesondere die Schwächen der Methoden zu berücksichtigen.

In seinem Vortrag beleuchtet Hans Ole Hatzel zunächst die Grundlagen der computergestützten Textverarbeitung und erklärt dabei von Tokens und Types bis hin zu Word Embeddings und Sentiment Analyse unterschiedliche etablierte Techniken. Einige Verfahren werden mit Beispielen aus den Digital Humanities hinterlegt, um neben den Methoden selbst auch zu verdeutlichen, wie sie konkret Anwendung finden. Am Schluss folgt ein Ausblick auf die Verwendung von Large Language Models, der Technologie hinter ChatGPT, in den Digital Humanities.

Referent:in: Hans Ole Hatzel (UHH)