WinFuture-Forum.de: URL wird von einer robots.txt-Datei blockiert - WinFuture-Forum.de

Zum Inhalt wechseln

Nachrichten zum Thema: Entwicklung
Seite 1 von 1

URL wird von einer robots.txt-Datei blockiert


#1 Mitglied ist offline   Xenia Lee 

  • Gruppe: Mitglieder
  • Beiträge: 3
  • Beigetreten: 27. Dezember 14
  • Reputation: 0

geschrieben 29. Dezember 2014 - 10:57

Hallo zusammen,

ich bin neu hier und hoffe ich finde in diesem Forum Hilfe.

Auf unserer Website werden verschiedene URL´s durch robots.txt-Dateien blockiert.

Es handelt sich um einen Website-Baukasten. Der Anbieter erzählt mir folgendes: txt.Dateien werden automatisch erzeugt - und zwar durch Metatags werden diese txt.Dateien erstellt. Das ist doch Schwachsinn, oder? Weiter sagt der Anbieter, weil wir den Head bearbeitet haben (wir nutzen Google Analytics und soweit ich mich erinnere mussten wir da mal einen Code einfügen), bekommen wir keinen Support. Außerdem sagt der Anbieter, wir haben wir kein SEO Paket und daher kümmert man sich nicht um das Auffinden der Seite.

Also vor kurzem gab es eine Attacke auf die Server des Anbieters, wodurch Google die robots.txt Datei nicht erreichen konnte, dadurch wird *bei einigen Seiten in der Seitenbeschreibung bei den Google Suchergebnissen angezeigt " Aufgrund der robots.txt dieser Website ist keine Beschreibung für dieses Ergebnis verfügbar". Der Anbieter sagte, wir müssen uns an den Google Support wenden.

Ich weiß jetzt nicht genau, ob da ein Zusammenhang besteht. Lt. google Webmaster Tool betrifft es einige mobile Seiten. Es sind aber auch andere Seiten, wie oben* beschrieben betroffen. Bei Smartphone wird angezeigt, dass Seiten blockiert werden. Hier die genaue Meldung: "Der Googlebot konnte auf Ihre Website zugreifen, aber gewisse URLs sind für den Googlebot-Mobile für Smartphones in Ihrer robots.txt-Datei blockiert".

Es gab in der Vergangenheit schon mehrfach Probleme mit dem Baukasten. Wenn man dann dahinter kommt, stellt der Anbieter als Entschuldigung Gutschriften aus. Ich möchte damit sagen, es würde mich nicht wundern wenn da wieder was schief läuft.

Danke schon einmal im voraus.
0

Anzeige



#2 _d4rkn3ss4ev3r_

  • Gruppe: Gäste

geschrieben 29. Dezember 2014 - 11:17

Willkommen im Forum!

Also wenn du soviele Probleme mit dem Anbieter hast, warum wechselst du dann nicht einfach?
0

#3 Mitglied ist offline   solitsnake 

  • Gruppe: aktive Mitglieder
  • Beiträge: 1.586
  • Beigetreten: 14. Mai 03
  • Reputation: 5
  • Geschlecht:Männlich
  • Wohnort:NBG

geschrieben 29. Dezember 2014 - 11:35

Hm,

um zu dem Thema viel Sinnvolles zu sagen, sind zu wenig Informationen vorhanden.
Was steht den in der robots.txt?

Diese Datei dient normalerweise dazu den Suchmaschinen zu sagen das sich bestimmte Bereiche einer Webseite nicht durchsuchen sollen.

Beispiel:

Testwebseite.de

Dort gibts im Rootverzeichniss sinnvolle Ornder die man nicht von den Suchmaschinen durchsucht haben möchte.

/Bilder/
/statistiken/
/privat/
/logs/
/backups/

so, nun sage ich in die robots.txt das diese Unterordner nicht druchsucht werden sollen. Die eigentliche Webseite ist allerdings zu finden. Aber es macht natürlich Sinn das Suchmaschinen meine "Daten-Ordner" nicht durchsuchen.

Sollte deine robots.txt falsch angelegt sein? Hast du keinen Zugriff darauf um diese selber anzupassen?
Was steht in der robots.txt?
Privat: AMD 1600+, 16 GB DDR4 3200, Asus 350 Pro, Nvidea 1060 6GB, Iiyama B2783QSU
Homeoffice: HP Elitebook G5, 32 Gb Ram, 512 + 1TB SSD, Intel i5 8250, Ipad Pro,
Mobil: Huawei P30 Pro (Privat) Iphone XR (Beruflich) - iPad Pro, Fire Tab HD 10", Teclast 98 G3
Wlan Print & Scan: Epson WorkForce WF-3530DTWF
Internet: Fritzbox 7590 - 1und1 250Mbit/s & 37Mbit/s bei 166m Tal + Mesh Via 1750 + 7530
Smarthome: Homematic IP, Philips Hue, SonOff....
NAS: QNAP 253A&TR-004 mit 16GB Ram - 8+8+6+4 TB HD´s / 2TB SSD für VM´s - Als File, Media, Download sowie TS3-Server. Als Host verschiedener VM´s
0

#4 Mitglied ist offline   dale 

  • Gruppe: aktive Mitglieder
  • Beiträge: 1.210
  • Beigetreten: 15. Februar 08
  • Reputation: 64

geschrieben 29. Dezember 2014 - 15:05

nimm mal einen Suchmaschine die sich nicht an die robots.txt hält..

ob da auch Fehlermeldungen kommen

Dieser Beitrag wurde von dale bearbeitet: 29. Dezember 2014 - 15:06

0

#5 Mitglied ist offline   Xenia Lee 

  • Gruppe: Mitglieder
  • Beiträge: 3
  • Beigetreten: 27. Dezember 14
  • Reputation: 0

geschrieben 29. Dezember 2014 - 18:04

Danke d4rkn3ss4ev3r, dass werden wir tun. Es war damals erst einmal eine gute Möglichkeit um eine Website zu haben und die Inhalte werden momentan noch stetig ergänzt. Irgendwelche Tipps zu meinen Fragen...?

solitsnake: Danke für deine Antwort. Ich glaube, ich komme da gar nicht rein in die Programmierung.

Ich kann den Head bearbeiten - Hier steht folgendes: "Für Profis: Hier können Sie den <head>-Tag im HTML Ihrer Website bearbeiten. Nach HTML-Standard sind nur folgende Tags innerhalb des Head-Tags erlaubt: <link>, <meta>, <style>, <script>."

Ansonsten kann ich mir von z.B. einem angelegten Text "html" anzeigen lassen und bearbeiten. Hier habe ich auf einigen Seiten H2 in H3 geändert (weil H3 über den Baukasten nicht geändert werden kann.) Außer solche kleinen Änderungen "pfusche" ich da nicht rum, weil ich mich eben nicht auskenne damit. Ich habe aber noch nie irgendwo etwas gefunden wo ich robots.txt ändern kann. Der Anbieter sagte mir in diesem Zusammenhang ja txt.Dateien werden automatisch erzeugt - und zwar durch Metatags werden diese txt.Dateien erstellt. Aber was hat es damit zu tun? - die Metatags füge ich in ein vorgegebenes Feld durch Komma getrennt ein.

Ich habe mir von zwei Seiten, mit denen es Probleme gibt, den Seitenquelltext anzeigen lassen. Hier finde ich follow und nofollow und index sowie noindex Elemente.

<meta name="robots" content="noindex, nofollow"/>
<meta name="robots" content="index,follow"/>

Bei einer anderen Seite die funktionieren sollte steht zwar auch nofollow, irgendwo am Ende, dass betrifft soweit ich es verstehe den login Bereich.

Puh, dass ist schwierig zu erklären, wenn man selbst nicht weiß wo man schauen muss. Wäre auch für eine Empfehlung einer Firma oder so dankbar, wo man das vielleicht kurz mal per Telefon besprechen kann.

dale, Danke Dir auch für die Antwort.
Wenn ich mit bing suche wird die Seitenbeschreibung korrekt angezeigt. Allerdings steht dort es wird eine Momentaufnahme der Seite angezeigt, wie sie am 05.12.2014 angezeigt wurde (das letzte Datum, an dem der Crawler die Seite besucht hat). Das Problem besteht seit Mitte Dezember irgendwann.

Dieser Beitrag wurde von Xenia Lee bearbeitet: 29. Dezember 2014 - 19:35

0

#6 Mitglied ist offline   Xenia Lee 

  • Gruppe: Mitglieder
  • Beiträge: 3
  • Beigetreten: 27. Dezember 14
  • Reputation: 0

geschrieben 02. Januar 2015 - 12:49

Beitrag anzeigenZitat (d4rkn3ss4ev3r: 29. Dezember 2014 - 11:17)

Willkommen im Forum!

Also wenn du soviele Probleme mit dem Anbieter hast, warum wechselst du dann nicht einfach?


Danke d4rkn3ss4ev3r, dass werden wir tun. Es war damals erst einmal eine gute Möglichkeit um eine Website zu haben und die Inhalte werden momentan noch stetig ergänzt. Irgendwelche Tipps zu meinen Fragen...?

Beitrag anzeigenZitat (solitsnake: 29. Dezember 2014 - 11:35)

Hm,

um zu dem Thema viel Sinnvolles zu sagen, sind zu wenig Informationen vorhanden.
Was steht den in der robots.txt?

Diese Datei dient normalerweise dazu den Suchmaschinen zu sagen das sich bestimmte Bereiche einer Webseite nicht durchsuchen sollen.

Beispiel:

Testwebseite.de

Dort gibts im Rootverzeichniss sinnvolle Ornder die man nicht von den Suchmaschinen durchsucht haben möchte.

/Bilder/
/statistiken/
/privat/
/logs/
/backups/

so, nun sage ich in die robots.txt das diese Unterordner nicht druchsucht werden sollen. Die eigentliche Webseite ist allerdings zu finden. Aber es macht natürlich Sinn das Suchmaschinen meine "Daten-Ordner" nicht durchsuchen.

Sollte deine robots.txt falsch angelegt sein? Hast du keinen Zugriff darauf um diese selber anzupassen?
Was steht in der robots.txt?


solitsnake: Danke für deine Antwort. Ich glaube, ich komme da gar nicht rein in die Programmierung.

Ich kann den Head bearbeiten - Hier steht folgendes: "Für Profis: Hier können Sie den <head>-Tag im HTML Ihrer Website bearbeiten. Nach HTML-Standard sind nur folgende Tags innerhalb des Head-Tags erlaubt: <link>, <meta>, <style>, <script>."

Ansonsten kann ich mir von z.B. einem angelegten Text "html" anzeigen lassen und bearbeiten. Hier habe ich auf einigen Seiten H2 in H3 geändert (weil H3 über den Baukasten nicht geändert werden kann.) Außer solche kleinen Änderungen "pfusche" ich da nicht rum, weil ich mich eben nicht auskenne damit. Ich habe aber noch nie irgendwo etwas gefunden wo ich robots.txt ändern kann. Der Anbieter sagte mir in diesem Zusammenhang ja txt.Dateien werden automatisch erzeugt - und zwar durch Metatags werden diese txt.Dateien erstellt. Aber was hat es damit zu tun? - die Metatags füge ich in ein vorgegebenes Feld durch Komma getrennt ein.

Ich habe mir von zwei Seiten, mit denen es Probleme gibt, den Seitenquelltext anzeigen lassen. Hier finde ich follow und nofollow und index sowie noindex Elemente.

<meta name="robots" content="noindex, nofollow"/>
<meta name="robots" content="index,follow"/>

Bei einer anderen Seite die funktionieren sollte steht zwar auch nofollow, irgendwo am Ende, dass betrifft soweit ich es verstehe den login Bereich.

Puh, dass ist schwierig zu erklären, wenn man selbst nicht weiß wo man schauen muss. Wäre auch für eine Empfehlung einer Firma oder so dankbar, wo man das vielleicht kurz mal per Telefon besprechen kann.

Beitrag anzeigenZitat (dale: 29. Dezember 2014 - 15:05)

nimm mal einen Suchmaschine die sich nicht an die robots.txt hält..

ob da auch Fehlermeldungen kommen


dale, Danke Dir auch für die Antwort.
Wenn ich mit bing suche wird die Seitenbeschreibung korrekt angezeigt. Allerdings steht dort es wird eine Momentaufnahme der Seite angezeigt, wie sie am 05.12.2014 angezeigt wurde (das letzte Datum, an dem der Crawler die Seite besucht hat). Das Problem besteht seit Mitte Dezember irgendwann.
0

Thema verteilen:


Seite 1 von 1

1 Besucher lesen dieses Thema
Mitglieder: 0, Gäste: 1, unsichtbare Mitglieder: 0