Seit einigen Tagen haben vermutlich einige von euch, wie auch viele andere Webseitenbetreiber die Meldung Googlebot kann nicht auf CSS- und JS-Dateien zugreifen erhalten.

Google Webmaster Tools Warnung

Google hatte schon früher im, Jahr 2014, angekündigt, dass CSS- und JS-Files nicht von der robots.txt geblockt werden sollten, wie es früher üblich war und viele CMS-Systeme noch tun. Hintergrund dafür ist, dass Google Webseiten rendert und nicht nur von oben nach unten den Inhalt crawlt. Zum exakten rendern muss Google natürlich auf die .CSS und .jS Dateien Zugriff haben, da diese stark beeinflussen wie die Seite dann auch für die Besucher und nun auch für den Googlebot aussieht.

Googlebot cannot access CSS and JS files

Googlebot cannot access CSS and JS files

Wenn ihr nun so eine Mail oder Benachrichtigung von Google erhalten habt, dann können Teile eurer Webseite nicht 100%ig vom Googlebot gerendert bzw. gecrawlt werden.

So geht ihr in den Webmaster Tools vor um die Warnung zu prüfen.

In der Search Console bzw. den Webmaster Tools, findet ihr unter Crawling->Abruf wie durch Google ein Tool wo ihr eure URL eingeben könnt um zu sehen wie diese gerendert aussieht. Als Ergebnis erhaltet ihr nach einiger Zeit einen Status: Abgeschlossen = Alles okay, Teilweise = Dateien sind noch geblockt.

Wenn ihr ein Teilweise-Status erhaltet, dann klickt drauf und unter einer Googlebot- und Live-Vorschau seht ihr eine Auflistung alles Skripte etc. die geladen werden von euch, aber von der robots.txt geblockt sind.

Webmaster-Tools robots.txt-Tester

Webmaster-Tools robots.txt-Tester

Für jeden Eintrag seht ihr ein robots.txt-Tester Link, wo ihr angezeigt bekommt welche Zeile in eurer robots.txt für das Blockieren verantwortlich ist. Diese müsste dann ggf. in eurer robots.txt angepasst und korrigiert werden.

Obwohl es mühselig ist, jede Seite einzeln zu prüfen, so sollte man zumindest die wichtigsten Seiten prüfen oder auf ein Tool wie z.B. OnPage.org zugreifen (auch in der kostenlosen Version möglich). Meist wird aber schon aus einigen Seiten deutlich welche Bereiche in der robots.txt noch freigegeben werden müssen.

Mit folgender Regel könnt ihr in der robots.tx CSS und JS-Dateien freigeben:
User-Agent: Googlebot
Allow: .js
Allow: .css

So wird sichergestellt, dass alle CSS und JS-Dateien gecrawlt werden können. Allow-Regeln sollten zur Übersicht nach den Disallow-Regeln gesetzt werden.

In manchen CMS-System ist per default eingestellt, dass bestimmte Dateien geblockt werden. Google will eigentlich nur noch, dass man LOGIN-Bereiche oder Sicherheitsrelevante Bereiche geblockt sind, aber es macht nicht immer Sinn und sollte individuell entschieden werden.

Info: In WordPress ist die robots.txt schon so eingestellt, dass keine Änderungen notwendig wären, außer diese wurde manuell oder durch ein Plugin verändert. Im Shop-System Mangento sind allerdings einige Ordner wo sich CSS und JS-Dateien befinden blockiert und müssten dann freigegeben werden.

Externe Skripte für den Googlebot blockiert

Google versucht zwar Einträge nicht zu zeigen wo ihr keinen Einfluss darauf habt, eben externe Skripte die nicht bei euch gehostet sind, aber das gelingt nicht immer. Hier einfach ignorieren, da ihr auf externe Skripte meist Auch wirklich keinen Einfluss habt. Meist sind externe Tracking-Affiliate-Pixel-Skripte davon betroffen.

Wirkt sich das auf euere Rankings aus?

Eigentlich müsst ihr keine Sorgen haben, den es handelt sich nur um eine Warnung, keine Strafe.  Wie stark es sich auf die Rankings auswirkt kann niemand 100%ig sagen, aber meiner Vermutung nach sind hier höchstens die Rankings der einzelnen Unterseiten eurer Webseite betroffen, wie auch schon bei dem Google Mobile Update, und es hat zwar einen Einfluss auf das Ranking, aber zählt sicher nicht zu den stärksten Rankingfaktoren, außer eure Seite ist dadurch für den Googlebot überhaupt nicht mehr zu erkennen, was aber in der Praxis nicht der Fall ist.

Da das korrekte Rendern der Seite u.a. mit der Google-Bewertung der mobilen Version eurer Seite zusammenhängt, da durch den Einsatz von CSS und Java Script diese erst responsive werden,  so ist der Einfluss auf das Mobile Ranking wahrscheinlich stärker als wie für die Desktopversion eurer Internetseite.

Diese Warnung kann man schnell korrigieren und sollte auch gemacht werden, da hier der Aufwand meist nicht allzu groß sein dürfte. Wenn jemand Hilfe benötigt, dann einfach hier fragen!

 

 

Share This