MojeekBot

MojeekBot ist der Web-Crawler für die Mojeek Suchmaschine. Obwohl jeder Versuch unternommen wurde, Rücksicht auf die Webmaster, Website-Eigentümer und Gastgeber zu nehmen, sind leider Fehler und Irrtümer unvermeidlich. Wenn Sie unsere Bot Fehlverhalten in irgendeiner Weise bemerkt haben, Crawlen einer Seite oder eines Verzeichnisses sollte es nicht, oder bei nur allgemeinen Anfragen, wenden Sie sich bitte an uns, wir würden uns über Ihr Feedback freuen.

Crawl Frequency

MojeekBot sollte, ob erfolgreich oder nicht, nicht mehr als eine Seite von Ihrer Website innerhalb desselben Zeitraums von 1 Sekunde anfordern. MojeekBot unterstützt die nicht standardmäßige robots.txt crawl-delay-Direktive derzeit nicht.

Robots.txt

MojeekBot gehorcht dem Robot Exclusion Standard. MojeekBot gehorcht dern ersten Datensatz mit einem User-Agent mit "MojeekBot". Wenn es keine solche Aufzeichnung gibt wird es olem ersten Eintrag mit einem User-Agent der "*" gehorchen.

MojeekBot werden nicht alle Dokumente mit einer URL zurückholen, die einen unzulässigen String haben:

User-agent: *
Disallow: /private

Dies würde alle URLs, die die Zeichenfolge "/private" haben, ungültig machen. Zum Beispiel werden alle der folgenden nicht abgerufen:

/private/
/private.html

Meta-Tags

Mojeek Motoren gehorcht der noindex, nofollow, nocache und Meta-Tags. Wenn Sie die folgenden an den Kopf Ihrer Seite Setzen:

<META NAME="robots" CONTENT="noindex">

MojeekBot wird die Seite abrufen, aber wird nicht Index das Dokument noch wird es sie geben in der Suchdatenbank.

Stellen Sie sicher, MojeekBot

Um zu überprüfen, ob es ein echter MojeekBot Besucher auf Ihrer Website ist, führen sie zwei Stufen, zuerst, ein Reverse-DNS-Lookup auf die IP-Adresse besuchen:-

> host 5.102.173.71
71.173.102.5.in-addr.arpa domain name pointer crawl-5-102-173-71.mojeek.com.

Dies sollte zu einem Namen im mojeek.com Domäne führen. Überprüfen Sie nun, dies ist nicht eine falsche Rückdns indem Sie eine Forward-DNS-Lookup auf der oben Antwortzeit:-

> host crawl-5-102-173-71.mojeek.com
crawl-5-102-173-71.mojeek.com has address 5.102.173.71

Diese sollten nun die ursprüngliche Besuch IP-Adresse zurück bringen, wenn nicht, ist es nicht eine echte MojeekBot.

Kontaktieren Sie Uns

Wenn Sie weitere Fragen oder Kommentare zu unseren bot haben, bitte zögern Sie nicht, uns zu kontaktieren.