Architekturübersicht#

Einführung#

Die KI-Kartierung an Hochschulen ist ein System zur Erfassung, Analyse und Visualisierung von KI-Aktivitäten an deutschen Hochschulen. Die Anwendung ermöglicht es Nutzern, URLs zu KI-Projekten einzureichen, extrahiert automatisch relevante Informationen, erstellt strukturierte Steckbriefe und stellt diese in einer übersichtlichen Weboberfläche dar.

Systemarchitektur#

Die Anwendung ist als moderne Web-Anwendung mit einer klaren Trennung zwischen Backend und Frontend konzipiert. Sie folgt einem API-first Ansatz mit statischer Site-Generierung für die Präsentation der Daten.

Architekturdiagramm#

graph TD
    User[Benutzer] -->|Reicht URL ein| API[FastAPI Backend]
    Admin[Administrator] -->|Verwaltet Daten| API
    
    API -->|Speichert Daten| DB[(SQLite/PostgreSQL)]
    API -->|Extrahiert Text| Crawler[Web-Crawler]
    Crawler -->|Verarbeitet Inhalte| LLM[LLM-Client]
    
    API -->|Generiert Steckbrief| LLM
    API -->|Generiert statische Seiten| Generator[Site-Generator]
    
    Generator -->|Erzeugt HTML| Static[Statische Website]
    
    User -->|Sieht Ergebnisse| Static
    
    subgraph Backend
        API
        Crawler
        LLM
        Generator
    end
    
    subgraph Datenbank
        DB
    end
    
    subgraph Frontend
        Static
    end

Hauptkomponenten#

1. FastAPI Backend#

Das Backend ist mit FastAPI implementiert und bildet das Herzstück der Anwendung. Es bietet RESTful-API-Endpunkte für:

• Einreichung von URLs
• Extraktion und Analyse von Webseiteninhalten
• Verwaltung von Einreichungen und Projekten
• Generierung von Steckbriefen
• Erzeugung der statischen Website

2. Web-Crawler & Extraktor#

Diese Komponente ist für die Extraktion von relevanten Informationen aus eingereichten Webseiten verantwortlich:

• SimpleExtractor: Extrahiert Basistexte und Metadaten aus Webseiten
• FeatureAwareExtractor: Erweiterte Extraktion mit Fokus auf KI-spezifische Inhalte

3. LLM-Integration#

Die Anwendung nutzt lokale Sprachmodelle (LLM) über einen OpenAI-kompatiblen Client zur:

• Analyse der extrahierten Texte
• Identifikation von KI-relevanten Informationen
• Generierung strukturierter Steckbriefe
• Erkennung von Beziehungen zwischen verschiedenen Projekten

4. Datenbank#

Die Anwendung verwendet SQLite für die Entwicklung und PostgreSQL für die Produktion:

• Submissions: Speichert eingereichte URLs und deren Status
• Projects: Speichert genehmigte und strukturierte Projektdaten
• Users: Verwaltet Administratorkonten für das Backend

5. Site-Generator#

Der Site-Generator:

• Generiert statische HTML-Seiten aus den Projektdaten
• Verwendet Jinja2-Templates für einheitliches Design
• Erstellt Index-, Projekt-Listen- und Detailseiten
• Erzeugt Metadaten für Suchmaschinen

6. Frontend#

Das Frontend besteht aus:

• Statischen HTML-Seiten mit CSS und JavaScript
• Benutzerfreundlichen Formularen zur Einreichung von URLs
• Visualisierungen und Filtern für die Projektdaten
• Responsivem Design für verschiedene Endgeräte

Technologie-Stack#

Backend#

• Python 3.11+: Grundlegende Programmiersprache
• FastAPI: Web-Framework für moderne API-Entwicklung
• SQLAlchemy: ORM für Datenbankzugriffe
• Pydantic: Datenvalidierung und -konvertierung
• Alembic: Datenbank-Migrations-Tool
• OpenAI-Client: Kommunikation mit lokalen LLMs
• BeautifulSoup/Trafilatura: HTML-Parsing und Textextraktion

Frontend#

• HTML5/CSS3: Markup und Styling
• JavaScript: Clientseitige Interaktivität
• Jinja2: Template-Engine für die Site-Generierung

Datenbank#

• SQLite: Für Entwicklung und kleinere Deployments
• PostgreSQL: Für Produktionsumgebungen

Deployment#

• Docker: Containerisierung
• Docker Compose: Container-Orchestrierung

Datenfluss#

1. Benutzer reicht URL zu einem KI-Projekt über das Webformular ein
2. Die URL wird validiert und als Submission in der Datenbank gespeichert
3. Der Crawler extrahiert Text und Metadaten von der URL
4. Der FeatureAwareExtractor analysiert den Inhalt und identifiziert relevante Strukturen
5. Der LLM-Client generiert einen strukturierten Steckbrief basierend auf dem extrahierten Text
6. Ein Administrator prüft die Submission und genehmigt sie
7. Das genehmigte Projekt wird in der Datenbank gespeichert
8. Der Site-Generator erzeugt aktualisierte statische HTML-Seiten
9. Benutzer können die Projekte auf der Website einsehen und durchsuchen

Sicherheits- und Authentifizierungskonzept#

• API-Key-basierte Authentifizierung für Admin-Endpunkte
• Validierung und Bereinigung aller Benutzereingaben
• CORS-Konfiguration für Front-End-Sicherheit
• Serverbasierte CSRF-Tokens

Skalierungskonzept#

Die Anwendung ist für verschiedene Skalierungsstufen konzipiert:

1. Einfaches Deployment: Einzelner Server mit SQLite für kleinere Instanzen
2. Mittlere Skalierung: PostgreSQL-Datenbank und Docker-Deployment
3. Erweiterte Skalierung: Verteilte Crawler und LLM-Verarbeitung bei hohem Anfragevolumen

Da die Frontend-Präsentation über statische Seiten erfolgt, ist die Skalierung der Website-Bereitstellung einfach über CDNs oder statische Hosting-Dienste möglich.