Kurz beantwortet
Laut Meta gelten ab dem 30.10.2026 neue kommerzielle Nutzungsbedingungen für alle, die Facebook-Seiten, Business-Tools oder Anzeigen geschäftlich nutzen. Neu ist eine Klausel, die die heute geltende Fassung vom 06.03.2024 nicht enthält: Sie erlaubt Meta, Websites abzurufen, die mit Ihren Produkten oder Dienstleistungen verbunden sind, um Werbe- und Business-Produkte bereitzustellen und zu entwickeln. Die Klausel erwähnt die robots.txt nicht. Unabhängig davon können Sie laut Meta-Dokumentation die Crawler Meta-ExternalAgent und Meta-ExternalAds über die robots.txt sperren. Lesen Sie die neuen Meta-AGB und prüfen Sie getrennt davon Ihre robots.txt, am besten vor dem 30.10.
Was ändert sich am 30.10. bei Meta?
Meta kündigt auf der Seite seiner Commercial Terms an: „We're updating the Meta Commercial Terms. These updates will go into effect on October 30, 2026.“ (Meta Commercial Terms). Bis dahin gilt die Fassung vom 06.03.2024; eine Klausel zum Crawling von Websites enthält sie nicht. Die neue Fassung ist als Vorschau abrufbar (Meta Commercial Terms, Vorschau). Die Bedingungen betreffen die geschäftliche Nutzung von Meta, also etwa eine Unternehmensseite, Business-Tools oder Anzeigen.
Ob Meta Ihre Website crawlen darf und was Sie dagegen tun können, gehört zur technischen Grundlage jeder Sichtbarkeit. Mehr dazu lesen Sie bei SEO und GEO für Ihre Website.
Was steht in der neuen Crawling-Klausel?
Im Abschnitt „Licenses & Rights You Provide Meta“ der neuen Fassung heißt es wörtlich:
„You authorize us (or any entity acting on our behalf) to use automated software (such as web scrapers, bots, robots, spiders, crawlers, and user agents) and create test credentials to access, index, cache, analyze, collect, retrieve, or crawl the domains, web pages, or URLs (and any content available through them) that are associated with your products or services, or that are made available through your or users' use of Meta Company Products and services, and to periodically pull updates from such domains, web pages, or URLs in order to provide, develop, improve, research, and maintain advertising and business products (including business, commercial and related products to help you create and deliver ads and other commercial content, provide users information about your products and services, and connect you with users who may be interested in your products and services) and maintain the integrity and security of Meta Company Products.“
Sinngemäß erlauben Sie Meta damit, mit automatisierter Software Websites abzurufen, die mit Ihren Produkten oder Dienstleistungen verbunden sind, und regelmäßig Aktualisierungen davon zu holen. Als Zweck nennt die Klausel Werbe- und Business-Produkte sowie die Integrität und Sicherheit der Meta-Produkte. Die robots.txt und KI-Training nennt sie nicht ausdrücklich. Laut einem Bericht von Ars Technica soll eine frühere Fassung der Klausel das Wort „train“ enthalten haben, das Meta nach Kritik gestrichen habe. Die frühere Fassung konnten wir nicht selbst einsehen (Ars Technica, 20.10.2026).
Wen betrifft das?
Die neuen Meta-AGB gelten für die geschäftliche Nutzung. Laut Search Engine Journal und Dr. Web betrifft die Änderung jede Firma mit Facebook-Seite, auch ohne Anzeigen (Search Engine Journal, 19.10.2026, Dr. Web, 19.10.2026). Laut eigener Pressemitteilung vom 16.10.2026 hat sich der European Publishers Council an die EU-Kommission gewandt (EPC, 16.10.2026). Wie das ausgeht, ist offen.
Welche Meta-Crawler gibt es und was machen sie?
Meta beschreibt seine Crawler in einer eigenen Dokumentation (Meta Web Crawlers):
| Crawler | Wofür laut Meta |
|---|---|
| FacebookExternalHit | ruft Inhalte ab, die in Meta-Apps wie Facebook, Instagram oder Messenger geteilt werden, und zeigt etwa Titel, Beschreibung und Vorschaubild an |
| Meta-ExternalAgent | etwa zum Training von KI-Grundmodellen oder zum Verbessern von Produkten durch Indexieren von Inhalten |
| Meta-ExternalAds | zum Verbessern von Werbe- und anderen Business-Produkten |
| Meta-WebIndexer | zum Verbessern der Suchergebnisse von Meta AI; laut Meta hilft das Zulassen, dass Meta AI Ihre Inhalte in Antworten zitiert und verlinkt |
Wie die robots.txt grundsätzlich funktioniert und welche anderen KI-Crawler es gibt, wiederholen wir hier nicht; das steht im Beitrag So kommen Sie in ChatGPT-Antworten vor.
Wie sperren Sie Meta-Crawler in der robots.txt?
Beispielzeilen
Wer die beiden Crawler laut Meta-Dokumentation für die ganze Website sperren will, kann diese Zeilen in die robots.txt aufnehmen:
User-agent: Meta-ExternalAgent
Disallow: /
User-agent: Meta-ExternalAds
Disallow: /
Diese Möglichkeit beschreibt Meta in seiner Crawler-Dokumentation, nicht in den Nutzungsbedingungen (Meta Web Crawlers). Laut Meta kann es bis zu 24 Stunden dauern, bis Änderungen an der robots.txt wirken.
Was die robots.txt nicht leistet
Laut Meta-Dokumentation kann FacebookExternalHit die robots.txt umgehen, und zwar „when performing security or integrity checks, such as checking for malware or malicious content“, also bei Sicherheits- oder Integritätsprüfungen. Meta-ExternalFetcher „fetches individual links at a user’s request“ und „may bypass robots.txt because it performs fetches that were requested by the user“, kann die robots.txt also bei Abrufen umgehen, die ein Nutzer angefordert hat. Das sind Aussagen der Crawler-Dokumentation, nicht der Nutzungsbedingungen. Die robots.txt ist zudem nur eine Bitte an die Crawler. Meta schreibt, Website-Betreiber könnten ihre Präferenzen über die robots.txt angeben. Die Crawling-Klausel selbst nennt die robots.txt nicht.
Sperren oder zulassen: Was ist für Ihr Unternehmen sinnvoll?
Eine richtige Antwort für alle gibt es nach unserer Einschätzung nicht, auch nicht mit Blick auf die Meta-AGB. Wägen Sie je Crawler ab:
- FacebookExternalHit: Sperren Sie ihn nicht, wenn Ihre Links auf Facebook oder Instagram mit Vorschau erscheinen sollen.
- Meta-ExternalAds: Wer Meta-Werbung schaltet, prüft, ob eine Sperre den eigenen Anzeigen schadet. Das lässt sich vorab nicht sicher sagen.
- Meta-ExternalAgent: Laut Meta-Crawler-Dokumentation ruft er das Web ab „for use cases such as training foundation AI models or improving products by indexing content directly“, also etwa für das Training von KI-Grundmodellen. Das ist eine Aussage der Dokumentation; die neuen Nutzungsbedingungen nennen KI-Training nicht. Wer das nicht will, sperrt ihn.
Wenn Sie Meta-Anzeigen schalten, hängt die Entscheidung auch an Ihrer Kampagnenplanung. Wie wir Social Media und Werbeanzeigen betreuen, lesen Sie auf unserer Leistungsseite.
Checkliste bis zum 30.10.
Diese Punkte helfen, bis zum Stichtag die Meta-AGB zu lesen und die robots.txt zu prüfen.
- Ihre robots.txt im Browser aufrufen (ihredomain.de/robots.txt).
- Prüfen, ob es Zeilen für Meta-ExternalAgent und Meta-ExternalAds gibt.
- Entscheiden, welche Meta-Crawler Sie zulassen, und die Zeilen ergänzen.
- FacebookExternalHit nicht sperren, wenn Link-Vorschauen wichtig sind.
- Bot-Einstellungen bei CDN oder Hosting prüfen, damit sie zur robots.txt passen.
- Website-Link auf Ihrer Facebook-Seite prüfen.
- Datum der Änderung notieren und nach 24 Stunden testen.
- Den Text der Meta-Bedingungen bei Inkrafttreten erneut lesen.
Wie die Draco eG Ihre robots.txt prüft
Im Rahmen von SEO und GEO können wir uns auch ansehen, welche Crawler Ihre Website lesen dürfen, und mit Ihnen besprechen, welche Regeln zu Ihren Zielen passen. Ob Meta sich an die Regeln hält, können wir nicht zusagen.
Häufige Fragen
-
Ab wann gelten die neuen Meta-AGB?
Laut Meta treten die überarbeiteten Commercial Terms am 30.10.2026 in Kraft. Bis dahin gilt die Fassung vom 06.03.2024. Diese Fassung enthält keine Klausel zum Crawling von Websites.
-
Darf Meta meine Website crawlen, wenn ich eine Facebook-Seite habe?
Ab dem 30.10.2026 erlauben die neuen Bedingungen Meta, Websites abzurufen, die mit Ihren Produkten oder Dienstleistungen verbunden sind, für Werbe- und Business-Produkte. Die bis dahin geltende Fassung vom 06.03.2024 enthält keine solche Klausel. Diese Erlaubnis gilt laut Search Engine Journal auch ohne Anzeigen.
-
Wie sperre ich Meta-Crawler in der robots.txt?
Mit je einer Regel für Meta-ExternalAgent und Meta-ExternalAds, etwa „User-agent: Meta-ExternalAgent“ und „Disallow: /“. Laut Meta wirken Änderungen nach bis zu 24 Stunden.
-
Hält sich Meta an die robots.txt?
Meta nennt die robots.txt in seiner Crawler-Dokumentation als Weg, Präferenzen anzugeben. Die Crawling-Klausel nennt die robots.txt nicht. Laut Meta-Dokumentation kann FacebookExternalHit sie bei Sicherheits- oder Integritätsprüfungen umgehen, Meta-ExternalFetcher bei Abrufen, die ein Nutzer angefordert hat.
-
Verliere ich Link-Vorschauen auf Facebook, wenn ich Meta sperre?
Wenn Sie FacebookExternalHit sperren, ja, wahrscheinlich. Sperren Sie deshalb nur Meta-ExternalAgent und Meta-ExternalAds, wenn Link-Vorschauen bleiben sollen.
Ihr nächster Schritt
Unsicher, welche Crawler Ihre robots.txt zulässt, und was die neuen Meta-AGB für Sie bedeuten? Sprechen Sie uns an.
Kostenloses Erstgespräch vereinbaren
Quellen (abgerufen am 21.10.2026)
- Meta Commercial Terms (Ankündigung des Inkrafttretens am 30.10.2026)
- Meta Commercial Terms, Vorschau der neuen Fassung, Abschnitt „Licenses & Rights You Provide Meta“
- Meta-Bedingungen für die gewerbliche Nutzung, deutsche Fassung der Vorschau („Datum des Inkrafttretens: 30. Oktober 2026“)
- European Publishers Council, Pressemitteilung vom 16.10.2026
- Meta for Developers: Meta Web Crawlers
- Ars Technica, 20.10.2026: Meta drops the word „train“ from its commercial ToS after AI backlash
- Search Engine Journal, 19.10.2026
- Dr. Web, 19.10.2026
Dieser Beitrag dient der allgemeinen Information und stellt keine Rechtsberatung dar. Stand: 21.10.2026.