Reihenfolge Tool-Entwicklung und gelernte bzw. verwendete LLM-Techniken¶
1. Doc (Erstes Experiment)¶
Grundlegende Prompt-Engineering-Techniken: - Großschreibung in Prompts zur Verstärkung kritischer Anweisungen - Zweistufige Chunking-Strategie (Chunk → Meta-Zusammenfassung) - Strukturelle Element-Extraktion mit Tags (Überschriften, Tabellen, Bildunterschriften) - pymupdf4llm für LLM-freundliches Markdown
2. Code-Analyzer¶
Spezialisierung und hierarchische Analyse: - Multi-Perspektiven-Analyse: 4 separate spezialisierte LLM-Analysen pro Datei (Business Logic, Technical Aspects, Interfaces, Issue Detection) - Hierarchischer Analyseansatz über mehrere Abstraktionsebenen (File→Package→Module→System) - Dialog-basierte Anforderungsklärung: LLM stellt aktiv Fragen - Asynchrone Verarbeitung mit Semaphore-basiertem Rate Limiting für viele LLM-Calls
3. KI-Umfrage¶
Erste Agent-Workflows und Strukturierung: - Single-Agent mit Workflow-Orchestrierung: Bewertung → Nachfrage → Strukturierung - Strukturierte JSON-Outputs als Kommunikationsgrundlage - Clarity Score (0-1) für automatische Bewertung - Pydantic für Datenvalidierung bei LLM-Outputs - Safeguards gegen Endlosschleifen bei JSON-gesteuerten Systemen
4. stt-helper¶
Kaskadierende Workflows: - Dreistufige Verarbeitungskaskade: Bereinigung → Überarbeitung → Formatierung - Fokussierte Single-Purpose-Prompts (ein Auftrag pro Stufe) - Entwicklungsinterface für Prompt-Optimierung: - Interaktive Prompt-Anpassung während Verarbeitung - Einsicht in Zwischenergebnisse jeder Stufe - Zeichenbasiertes Chunking für längere Texte
5. ppt-helper¶
Multi-Agent-Architekturen: - Zwei-Agenten-Architektur mit klaren Rollen (Chat-Agent + Artefakt-Agent) - Strukturiertes JSON-Kommunikationsprotokoll zwischen Agenten - Bidirektionaler "Rückkanal": Artefakt-Agent kann Nachfragen an Chat-Agent stellen (nicht nur unidirektional) - Modellwahl nach Prompt-Following-Fähigkeiten statt nur nach Benchmarks - <1000 Zeilen pro Datei für LLM-Wartbarkeit
6. Translate¶
Skalierung und Context-Management: - Mehrstufiges Verfahren: Markdown-Konversion → Chunking → parallele Übersetzung → Zusammensetzung - Context-Management-System: Glossare, übersetzte Schlüsselbegriffe, Chunk-Zusammenfassungen werden an LLM weitergegeben - Asynchrone parallele API-Calls für Performance - Einheitliche Markdown-Pipeline statt formatspezifische Verarbeitung - Konsistenz über Chunk-Grenzen durch Context-Weitergabe
7. TalkToDocuments¶
Großer Kontext-Nutzung: - Nutzung großer Kontexte ohne traditionelles Chunking oder Vektordatenbanken - Tiktoken-Integration für Token-Zählung und Visualisierung - Simples Referenzsystem [P1], [P2] statt komplexer Metadaten - Intelligentes Content-Cleaning und Deduplizierung vor LLM-Verarbeitung - Direktes Halten mehrerer Dokumente im Kontext (bis zu 20 Dokumente)
8. TextTool¶
State-Management und systematische Dokumentation: - Implementation_Status-Dokument: LLM pflegt Implementierungsstatus selbst nach jedem Schritt - State-less Entwicklung: Jede neue Interaktion mit vollständigem Kontext möglich - Artefakt-zentrierter Ansatz (Input/Output-Bereiche statt dialogische Prompts) - Kuratierte Tool-Bibliothek mit 12 optimierten Prompts ohne Meta-Kommentare - Kombination Prompt-Engineering + Heuristik-Filtering: Prompt-Following verstärkt durch nachgelagertes Filtering - Prompt-Engineering-Strategie differenziert: Bei gutem Prompt-Following strukturierte Aspekte, bei schwachem Fließtext-Anweisungen - Automatische Titel-Generierung durch separate LLM-Calls für History-Funktion
9. Web-Helper¶
Rapid Prototyping und Zwei-Stufen-Analyse: - Zweistufige LLM-Verarbeitung: Content-Struktur-Analyse → Verbesserungsvorschläge → Anwendung auf Inhalte - JSON-Handling großer strukturierter Daten (12 MB) mit 256K Token Kontext - In-Memory Session-Verarbeitung (kein persistenter State)
10. Chart-Tool¶
Komplexe Multi-Agenten-Architektur mit Pattern-Bibliotheken: - Intent→Plan→Execute Workflow (dreistufige Evolution) - IntentService für Intent-Klassifizierung (Modifikation, Einzelchart, Mehrfachchart, Analyse) - PlanService übersetzt Intents in detaillierte Ausführungspläne - ExecutionService koordiniert mit Retry-Logik - Pattern-Bibliotheken als Hybrid-Ansatz: 44 Code-Patterns (23 Implementierung, 7 Anti-Patterns, 9 Modifikation, 5 semantische) - LLM wählt und adaptiert Patterns basierend auf Datentypen - Hybrid: LLM-Intelligenz + Templates - fix_code() Methode für LLM-basierte Selbstkorrektur mit Error-Feedback - Retry-Logik: Bei Fehlern Error-Message an LLM zur Code-Korrektur - Kontrollierte Code-Ausführung mit eingeschränkten Builtins, vordefinierten Safe-Globals - Semantische Analyse: SemanticColorHelper für natürlichsprachige Farbangaben - Multi-Service-Orchestrierung: Mehrere spezialisierte Services arbeiten zusammen
11. Personalkostenkalkulator¶
Integrierte Hybridarchitektur mit State-basierter Dialogführung: - Strikte Hybridarchitektur: LLM ausschließlich für Parameterextraktion, deterministische Berechnungen komplett LLM-frei (Python Decimal für exakte Arithmetik) - LLM als intelligente Schnittstelle: Brücke zwischen natürlicher Sprache und strukturierter Verarbeitung - State Machine für Dialogführung: 7 definierte Zustände (INITIAL→PARSING→CLARIFYING→CALCULATING→COMPLETE, plus FALLBACK/ERROR) - Dreistufiger Fallback-Mechanismus: Nach 3 Parse-Fehlern automatisches manuelles Formular mit vorausgefüllten Werten - JSON-Schnittstelle mit Pydantic: Klare Vertragsdefinition zwischen LLM und Backend - Strukturierte Anforderungserfassung: Spezieller Prompt führt Fachbereich durch systematische Fragen vor Entwicklung - Spezifikation-First-Ansatz: 50 Min. Spezifikation ermöglichte 40 Min. Umsetzung (5700 Zeilen in einer Runde)
12. Text-Stil-Editor¶
Reglerbasierte Texttransformation mit zweistufigem Prozess: - Zweistufiger Prozess: Neutralisierung (10 Dimensionen) → Stilisierung (34 Regler in 7 Kategorien) - Drei Reglertypen: Polare Regler (-10 bis +10), Intensitätsregler (0-10) und Stufenregler (diskrete Optionen) - Intensitätsstufen: Präzise Steuerung von "leicht" (1-2) bis "extrem" (9-10) - 23 Presets: Vordefinierte Regler-Kombinationen für typische Anwendungsfälle - Hash-Code-Export/Import: Persistenz von Einstellungen über Sitzungen hinweg - Flache Architektur: 6 Python-Module (app.py, config.py, llm_client.py, models.py, prompt_builder.py, token_counter.py) - Prompt-Builder: Kontextspezifische LLM-Prompt-Generierung basierend auf Regler-Einstellungen - Technischer Stack: Python, Gradio 6, OpenAI-kompatible API (vLLM), tiktoken - Methodischer Ansatz: Ausführliche Spezifikation (1.400 Zeilen) vor Implementierung zur Reduktion von Iterationsschleifen
Entwicklungslinie der LLM-Techniken:¶
Phase 1 - Grundlagen (Doc, Code-Analyzer): - Prompt-Engineering-Basics (Großschreibung, doppelte Verstärkungen) - Chunking-Strategien - Multi-Perspektiven-Analyse - Dialog-basierte Interaktion
Phase 2 - Workflows (KI-Umfrage, stt-helper): - Strukturierte JSON-Outputs mit Pydantic - Kaskadierende fokussierte Prompts - Workflow-Orchestrierung durch LLM - Entwicklungsinterfaces für Prompt-Iteration
Phase 3 - Multi-Agenten (ppt-helper): - Zwei-Agenten-Architekturen - Bidirektionale strukturierte Kommunikation - Prompt-Following als Auswahlkriterium
Phase 4 - Skalierung (Translate, TalkToDocuments): - Context-Management-Systeme - Großer Kontext-Nutzung (256K Token) - Parallele API-Calls - Token-Tracking
Phase 5 - Systematisierung (TextTool, Web-Helper): - LLM pflegt eigene Metadaten (Implementation_Status) - Artefakt-zentrierte Ansätze - Zweistufige Analyse-Workflows
Phase 6 - Komplexe Systeme (Chart-Tool): - Intent→Plan→Execute Pattern - Pattern-Bibliotheken als Hybrid-Ansatz - Selbstkorrektur-Mechanismen - Multi-Service-Orchestrierung - Semantische Analyse-Komponenten
Phase 7 - Integrierte Architekturen (Personalkostenkalkulator): - Strikte Trennung LLM/deterministische Logik als Architekturprinzip - State Machines für robuste Dialogsteuerung - Fallback-Mechanismen bei LLM-Unsicherheit - Spezifikation-First als Entwicklungsmethodik - Synthese früherer Techniken (JSON/Pydantic, Workflows, Dialogführung) zu robustem Gesamtsystem