Optimierung fĂĽr KI-Crawler (GEO - generative engine optimization)

Warum Optimierung fĂĽr kĂĽnstliche Intelligenz?

Weshalb überhaupt eine Website im Hinblick auf gute Auffindbarkeit im Internet bzw. durch die Suchmaschinen optimiert werden sollte, wurde bereits bei der Suchmaschinen-Optimierung (SEO) erläutert. Den gleichen Zweck verfolgt eine neue Art der Optimierung: Inhalte speziell für so genannte „agentische Bots“ oder eben KI-Crawler bereitstellen, um auch bei Anfragen, die mittels ChatGPT & Co. gestellt werden, gut abzuschneiden.

Ich habe mir sagen lassen, dass vor allem junge Menschen auf der Suche nach Informationen weniger eine Suchmaschinen-Anfrage bemĂĽhen als ihre Frage einem Chatbot stellen. Und selbst bei der klassischen Suchmaschine Google erscheint ja inzwischen als erstes (meistens) eine KI-Zusammen­fassung und wenn dort weitere Eingaben vorgenommen werden, ist man schon mitten drin in der schönen neuen KI-Welt.

Deshalb ist es als durchaus sinnvoll einzustufen, verändertes Nutzungsverhalten bei der Informationsbeschaffung zu respektieren und dafür zu sorgen, dass die von Chatbots gelieferten Ergebnisse so gut als möglich der eigenen Sichtbarkeit dienen, wenn die entsprechenden Fragen gestellt werden.

Aber durchforsten KI-Crawler nicht ohnehin das Internet?

Natürlich! Und das tun sie schon seit Längerem, haben also auch schon reichlich Informationen bei ihren Streifzügen sammeln können.

moderner Roboter am Rechner arbeitend

Foto erstellt von kenshinstock auf magnific.com

Der Knackpunkt ist, dass die Maschine – ebensowenig wie ein Fremder, der durch die Straßen Ihrer Stadt bummelt – wissen (und gegebenenfalls nur schwer erkennen) kann, was Ihnen ganz besonders wichtig ist. Dabei kann ihr geholfen werden.

Und die zweite – durchaus wichtige! – Seite der Medaille ist, dass wohl kaum jemand den Bots erlauben möchte, unter jeden Teppich zu schauen, also ausnahmslos alle Informationen zu verwerten.

In der Regel (und ohne gezielte Maßnahmen) erlauben Webauftritte allen Bots vollen Zugriff auf die Inhalte und das unabhängig davon, wozu diese die Informationen nutzen. Wenn Sie also auf Ihrer Website Wissen öffentlich machen, welches Sie sich mühsam und vielleicht über viele Jahre hinweg erworben haben, werden Sie wenig Interesse haben, dass diese Expertise ohne Nennung der Herkunft weiter verbreitet wird.

Genau das wird aber passieren, wenn die KI-Agenten die Daten zu Trainingszwecken nutzen, also ihr eigenes Wissen damit vergrößern und es demzufolge künftig als das ihre anbieten können.

Es sollten also (kompakte) Informationen speziell fĂĽr (bestimmte) KI-Crawler bereitgestellt wreden, gleichzeitig aber muss dafĂĽr gesorgt werden, dass kein unerwĂĽnschter Informationsabfluss erfolgt!

Dabei muss unterschieden werden zwischen:

  • „weiĂźen“ Bots:
    • sie gehen davon aus, dass keine Einshränkungen erwĂĽnscht sind, halten sich aber auch an Verbote
    • sie dĂĽrfen zwar alles lesen, verursachen dabei aber keine Ăśberlastungen des Webauftritts
  • „grauen“ Bots:
    • KI-Bots verhalten sich ohne GegenmaĂźnahmen extrem hungrig.
    • Sie saugen standardmäßig die gesamte Website ab, um sie als Trainingsdaten zu nutzen oder sie in Echtzeit-Suchen einzubinden.
    • einige dieser Bots scheren sich weniger um Server-Belastung als klassische Suchmaschinen und können spĂĽrbare Lasten verursachen, die die Leistung Ihres Webauftritts negativ beeinflussen
  • „schwarzen“ Bots (Scraper, Hacker-Tools, Spam-Bots):
    • Sie ignorieren Verbote konsequent. Schlimmer noch: Böswillige Bots nutzen gerade Verbote gezielt, um dort Anzugriffe zu versuchen.

Ihre Seite ist schon lange online —
ist es nicht zu spät für eine Regulierung?

Mitnichten!

Zwar haben sich die KI-Firmen die verfügbaren Daten bereits einverleibt, aber das Internet und auch Ihre Website verändern sich (hoffentlich) ständig. Die vier wichtigsten Gründe, warum eine Sperre ab sofort sinnvoll ist:

  1. Schutz vor zukünftigen Updates (Das „Vergessen“ erzwingen)
    Moderne KI-Modelle werden nicht nur einmal trainiert. Bots wie der GPTBot oder ClaudeBot kommen immer wieder, um Seiten neu zu erfassen.
    GroĂźe Anbieter wie OpenAI und Anthropic haben zugesichert, dass sie Daten von gesperrten Websites bei zukĂĽnftigen Modell-Updates (z. B. dem Training von GPT-5 oder neuen Claude-Versionen) wieder herausfiltern oder nicht mehr berĂĽcksichtigen.
  2. Massive Ersparnis von Server-Ressourcen (Performance)
    KI-Bots sind extrem gierig. Sie rufen Seiten oft im Sekundentakt auf, was die CPU des Webspaces belastet, das Datenvolumen (Traffic) in die Höhe treibt und im schlimmsten Fall die Website für echte menschliche Besucher verlangsamt. Das fällt weg.
  3. Schutz fĂĽr neue, zukĂĽnftige Inhalte
    Alles, was ab der Sperrung auf der Website neu erscheint, korrigiert oder aktualisiert wird, bleibt vor den KI-Modellen geschĂĽtzt.
  4. Daten-Aktualität bei der Live-Suche
    Einige Bots (wie der OpenAI SearchBot) nutzen die Daten fĂĽr die Live-Antworten in ChatGPT. Da Trainings-Bots gesperrt werden, aber KI-Suchbots (wie Perplexity oder der neue SearchBot) erlaubt sind, wird aktiv gesteuert, dass man die Website in KI-Antworten zwar noch als aktuelle Quelle findet und verlinkt, die Rohdaten aber nicht mehr als Gratis-Trainingsmaterial missbraucht werden.

Fazit:
Es wird damit zwar die Stalltür geschlossen, nachdem einige Pferde entwischt sind – aber gleichzeitig wird verhindert, dass die restlichen Pferde (die neuen und zukünftigen Inhalte) auch noch weglaufen und der Webserver wird ab sofort entlastet.

Mein Part dabei?

Da ich mich seit längerer Zeit und intensiv mit diesen Themen beschäftige, kann ich Ihnen Maßnahmen aufzeigen, wie Sie dies umsetzen können. In dem Zusammenhang ist auch wichtig zu erwähnen, dass ich auf diesem Weg über einige Dinge gestolpert bin, die den Erfolg verhinderten oder zeitweise wieder zumichte machten. Dieses Wissen hilft mir, die Dinge künftig gleich umfassend richtig zu machen — wovon Sie profitieren!
Und weil ich mich auch weiterhin aktiv diesen Themen widmen werde, wird auf künftige Entwicklungen reagiert werden können.

Bitte kontaktieren Sie mich, wenn Sie Ihren Internet-Auftritt fĂĽr unsere moderne KI-Welt fit machen und dafĂĽr meine Hilfe in Anspruch nehmen wollen!

weitere Informationen: Suchmaschinen-Optimierung (SEO), Webprogrammierung und -design, Webprojekte (Referenzen)