Reihenfolge Tool-Entwicklung und gelernte bzw. verwendete LLM-Techniken#

1. Doc (Erstes Experiment)#

Grundlegende Prompt-Engineering-Techniken:

Großschreibung in Prompts zur Verstärkung kritischer Anweisungen
Zweistufige Chunking-Strategie (Chunk → Meta-Zusammenfassung)
Strukturelle Element-Extraktion mit Tags (Überschriften, Tabellen, Bildunterschriften)
pymupdf4llm für LLM-freundliches Markdown

2. Code-Analyzer#

Spezialisierung und hierarchische Analyse:

Multi-Perspektiven-Analyse: 4 separate spezialisierte LLM-Analysen pro Datei (Business Logic, Technical Aspects, Interfaces, Issue Detection)
Hierarchischer Analyseansatz über mehrere Abstraktionsebenen (File→Package→Module→System)
Dialog-basierte Anforderungsklärung: LLM stellt aktiv Fragen
Asynchrone Verarbeitung mit Semaphore-basiertem Rate Limiting für viele LLM-Calls

3. KI-Umfrage#

Erste Agent-Workflows und Strukturierung:

Single-Agent mit Workflow-Orchestrierung: Bewertung → Nachfrage → Strukturierung
Strukturierte JSON-Outputs als Kommunikationsgrundlage
Clarity Score (0-1) für automatische Bewertung
Pydantic für Datenvalidierung bei LLM-Outputs
Safeguards gegen Endlosschleifen bei JSON-gesteuerten Systemen

4. stt-helper#

Kaskadierende Workflows:

Dreistufige Verarbeitungskaskade: Bereinigung → Überarbeitung → Formatierung
Fokussierte Single-Purpose-Prompts (ein Auftrag pro Stufe)
Entwicklungsinterface für Prompt-Optimierung:
- Interaktive Prompt-Anpassung während Verarbeitung
- Einsicht in Zwischenergebnisse jeder Stufe
Zeichenbasiertes Chunking für längere Texte

5. ppt-helper#

Multi-Agent-Architekturen:

Zwei-Agenten-Architektur mit klaren Rollen (Chat-Agent + Artefakt-Agent)
Strukturiertes JSON-Kommunikationsprotokoll zwischen Agenten
Bidirektionaler “Rückkanal”: Artefakt-Agent kann Nachfragen an Chat-Agent stellen (nicht nur unidirektional)
Modellwahl nach Prompt-Following-Fähigkeiten statt nur nach Benchmarks
<1000 Zeilen pro Datei für LLM-Wartbarkeit

6. Translate#

Skalierung und Context-Management:

Mehrstufiges Verfahren: Markdown-Konversion → Chunking → parallele Übersetzung → Zusammensetzung
Context-Management-System: Glossare, übersetzte Schlüsselbegriffe, Chunk-Zusammenfassungen werden an LLM weitergegeben
Asynchrone parallele API-Calls für Performance
Einheitliche Markdown-Pipeline statt formatspezifische Verarbeitung
Konsistenz über Chunk-Grenzen durch Context-Weitergabe

7. TalkToDocuments#

Großer Kontext-Nutzung:

Nutzung großer Kontexte ohne traditionelles Chunking oder Vektordatenbanken
Tiktoken-Integration für Token-Zählung und Visualisierung
Simples Referenzsystem [P1], [P2] statt komplexer Metadaten
Intelligentes Content-Cleaning und Deduplizierung vor LLM-Verarbeitung
Direktes Halten mehrerer Dokumente im Kontext (bis zu 20 Dokumente)

8. TextTool#

State-Management und systematische Dokumentation:

Implementation_Status-Dokument: LLM pflegt Implementierungsstatus selbst nach jedem Schritt
State-less Entwicklung: Jede neue Interaktion mit vollständigem Kontext möglich
Artefakt-zentrierter Ansatz (Input/Output-Bereiche statt dialogische Prompts)
Kuratierte Tool-Bibliothek mit 12 optimierten Prompts ohne Meta-Kommentare
Kombination Prompt-Engineering + Heuristik-Filtering: Prompt-Following verstärkt durch nachgelagertes Filtering
Prompt-Engineering-Strategie differenziert: Bei gutem Prompt-Following strukturierte Aspekte, bei schwachem Fließtext-Anweisungen
Automatische Titel-Generierung durch separate LLM-Calls für History-Funktion

9. Web-Helper#

Rapid Prototyping und Zwei-Stufen-Analyse:

Zweistufige LLM-Verarbeitung: Content-Struktur-Analyse → Verbesserungsvorschläge → Anwendung auf Inhalte
JSON-Handling großer strukturierter Daten (12 MB) mit 256K Token Kontext
In-Memory Session-Verarbeitung (kein persistenter State)

10. Chart-Tool#

Komplexe Multi-Agenten-Architektur mit Pattern-Bibliotheken:

Intent→Plan→Execute Workflow (dreistufige Evolution)
- IntentService für Intent-Klassifizierung (Modifikation, Einzelchart, Mehrfachchart, Analyse)
- PlanService übersetzt Intents in detaillierte Ausführungspläne
- ExecutionService koordiniert mit Retry-Logik
Pattern-Bibliotheken als Hybrid-Ansatz: 44 Code-Patterns (23 Implementierung, 7 Anti-Patterns, 9 Modifikation, 5 semantische)
- LLM wählt und adaptiert Patterns basierend auf Datentypen
- Hybrid: LLM-Intelligenz + Templates
fix_code() Methode für LLM-basierte Selbstkorrektur mit Error-Feedback
Retry-Logik: Bei Fehlern Error-Message an LLM zur Code-Korrektur
Kontrollierte Code-Ausführung mit eingeschränkten Builtins, vordefinierten Safe-Globals
Semantische Analyse: SemanticColorHelper für natürlichsprachige Farbangaben
Multi-Service-Orchestrierung: Mehrere spezialisierte Services arbeiten zusammen

11. Personalkostenkalkulator#

Integrierte Hybridarchitektur mit State-basierter Dialogführung:

Strikte Hybridarchitektur: LLM ausschließlich für Parameterextraktion, deterministische Berechnungen komplett LLM-frei (Python Decimal für exakte Arithmetik)
LLM als intelligente Schnittstelle: Brücke zwischen natürlicher Sprache und strukturierter Verarbeitung
State Machine für Dialogführung: 7 definierte Zustände (INITIAL→PARSING→CLARIFYING→CALCULATING→COMPLETE, plus FALLBACK/ERROR)
Dreistufiger Fallback-Mechanismus: Nach 3 Parse-Fehlern automatisches manuelles Formular mit vorausgefüllten Werten
JSON-Schnittstelle mit Pydantic: Klare Vertragsdefinition zwischen LLM und Backend
Strukturierte Anforderungserfassung: Spezieller Prompt führt Fachbereich durch systematische Fragen vor Entwicklung
Spezifikation-First-Ansatz: 50 Min. Spezifikation ermöglichte 40 Min. Umsetzung (5700 Zeilen in einer Runde)

12. Text-Stil-Editor#

Reglerbasierte Texttransformation mit zweistufigem Prozess:

Zweistufiger Prozess: Neutralisierung (10 Dimensionen) → Stilisierung (34 Regler in 7 Kategorien)
Drei Reglertypen: Polare Regler (-10 bis +10), Intensitätsregler (0-10) und Stufenregler (diskrete Optionen)
Intensitätsstufen: Präzise Steuerung von “leicht” (1-2) bis “extrem” (9-10)
23 Presets: Vordefinierte Regler-Kombinationen für typische Anwendungsfälle
Hash-Code-Export/Import: Persistenz von Einstellungen über Sitzungen hinweg
Flache Architektur: 6 Python-Module (app.py, config.py, llm_client.py, models.py, prompt_builder.py, token_counter.py)
Prompt-Builder: Kontextspezifische LLM-Prompt-Generierung basierend auf Regler-Einstellungen
Technischer Stack: Python, Gradio 6, OpenAI-kompatible API (vLLM), tiktoken
Methodischer Ansatz: Ausführliche Spezifikation (1.400 Zeilen) vor Implementierung zur Reduktion von Iterationsschleifen

Entwicklungslinie der LLM-Techniken:#

Phase 1 - Grundlagen (Doc, Code-Analyzer):

Prompt-Engineering-Basics (Großschreibung, doppelte Verstärkungen)
Chunking-Strategien
Multi-Perspektiven-Analyse
Dialog-basierte Interaktion

Phase 2 - Workflows (KI-Umfrage, stt-helper):

Strukturierte JSON-Outputs mit Pydantic
Kaskadierende fokussierte Prompts
Workflow-Orchestrierung durch LLM
Entwicklungsinterfaces für Prompt-Iteration

Phase 3 - Multi-Agenten (ppt-helper):

Zwei-Agenten-Architekturen
Bidirektionale strukturierte Kommunikation
Prompt-Following als Auswahlkriterium

Phase 4 - Skalierung (Translate, TalkToDocuments):

Context-Management-Systeme
Großer Kontext-Nutzung (256K Token)
Parallele API-Calls
Token-Tracking

Phase 5 - Systematisierung (TextTool, Web-Helper):

LLM pflegt eigene Metadaten (Implementation_Status)
Artefakt-zentrierte Ansätze
Zweistufige Analyse-Workflows

Phase 6 - Komplexe Systeme (Chart-Tool):

Intent→Plan→Execute Pattern
Pattern-Bibliotheken als Hybrid-Ansatz
Selbstkorrektur-Mechanismen
Multi-Service-Orchestrierung
Semantische Analyse-Komponenten

Phase 7 - Integrierte Architekturen (Personalkostenkalkulator):

Strikte Trennung LLM/deterministische Logik als Architekturprinzip
State Machines für robuste Dialogsteuerung
Fallback-Mechanismen bei LLM-Unsicherheit
Spezifikation-First als Entwicklungsmethodik
Synthese früherer Techniken (JSON/Pydantic, Workflows, Dialogführung) zu robustem Gesamtsystem