Ihre Arbeitsgruppen-Chat hat 8.000 Nachrichten über vier Monate. Sie fügen ihn in ChatGPT ein und das System bricht zusammen. Sie versuchen, ihn in vier Teile zu splitten und die Zusammenfassung verliert den Faden. Sie versuchen, nur die letzte Woche zusammenzufassen und verpassen den Kontext, der erklärt, was jetzt passiert.

Lange Chats sind ein echtes Problem für KI-Tools, die nicht dafür entworfen wurden. Sie sind kein Problem für Tools, die dafür entworfen wurden.

Diese Seite ist das Arbeitshandbuch für das Zusammenfassen von WhatsApp-Threads in der Größenordnung von 5.000, 10.000 und 50.000 Nachrichten, mit den Kompromissen, die jede Exportgröße mit sich bringt.

Warum lange Chats allgemeine KI-Tools zum Scheitern bringen

Jedes Consumer-Grade-Sprachmodell hat ein festes Kontextfenster, das in Token gemessen wird. Ein Token entspricht ungefähr drei Vierteln eines englischen Wortes, also beträgt ein WhatsApp-Chat mit 5.000 Nachrichten (durchschnittlich etwa 12 Wörter pro Nachricht) ungefähr 75.000 Token Text – und das ist noch bevor Sie Sprachnachrichten, Systemmeldungen oder Formatierung zählen. Die meisten Consumer-ChatGPT-Tarife erreichen bei dieser Größenordnung oder darunter ihre Grenze.

Wenn Sie das Limit überschreiten, haben Sie zwei Optionen:

• Kürzen. Den Chat zuschneiden, um ihn zu passen. Sie verlieren die frühen Nachrichten, was normalerweise bedeutet, dass Sie den Kontext verlieren, der erklärt, warum die letzten Entscheidungen getroffen wurden.
• In Teile aufteilen. Den Chat in Stücke zerlegen und jedes einzeln zusammenfassen. Sie verlieren den Zusammenhang zwischen den Abschnitten, weil das Modell keine Entscheidung aus Teil eins referenzieren kann, während es Teil drei verarbeitet.

Keiner davon liefert eine brauchbare Zusammenfassung. Das Modell gibt etwas zurück, das wie eine Zusammenfassung aussieht und sich wie eine liest, aber stillschweigend alles auslässt oder falsch darstellt, was auf der falschen Seite des Schnitts lag.

Wie ThreadRecap lange Chats behandelt