Hoe mijn site door een fout van mijn hostingpartij bijna uit Google verdween

Je kunt je teksten nog zo goed optimaliseren voor Google, maar als de techniek onder je site faalt, ben je alsnog alles kwijt. Dat ontdekte ik de afgelopen weken aan den lijve. Door een fout van mijn hostingpartij verdween mijn site langzaam maar zeker uit Google. Pagina voor pagina. Bezoekers uit zoekverkeer: weg. In deze blog lees je wat er misging, hoe ik het ontdekte en waarom de Google Search Console onmisbaar is voor iedereen met een website.

Als je zelf een blog hebt of een site, weet je hoe belangrijk het is om goed gevonden te worden in Google. Voor mij zorgt de zoekmachine ervoor dat nieuwe mensen mijn site kunnen ontdekken. Inmiddels heb ik ruim vijftien jaar een eigen blog en krijg ik dagelijks honderden bezoekers uit Google. Althans tot mijn site in de afgelopen weken ineens significant minder bezoek uit de zoekmachine kreeg.

Schommelingen in Google-bezoek

Schommelingen in zoekverkeer horen erbij. Ineens is er veel interesse in een onderwerp omdat iemand bijvoorbeeld in het nieuws is, daarna ebt de interesse langzaam weg. Daarnaast brengt Google ook regelmatig updates uit. Soms pakken die gunstig uit voor je site, een andere keer zie je juist een flinke daling.

Toen mijn Google-bezoek sinds eind april afnam raakte ik daarom ook niet direct in paniek. Totdat de daling begin juni in een stroomversnelling terechtkwam en mijn site voor steeds meer zoektermen onvindbaar werd.

Naast het dalende zoekverkeer zie ik nog iets geks: bij zoekresultaten voor mijn site wordt alleen een deel van mijn titel weergegeven en geen omschrijving. Bekijk de screenshot hieronder. Hierdoor valt mijn site amper meer op en is de kans groot dat minder mensen klikken. En als minder mensen klikken zal op termijn ook je positie in Google dalen.

‘Failed: Robots.txt unreachable’

Enkele weken voordat het sitebezoek in Google wegvalt zie ik in Search Console dat de zoekmachine zo nu en dan problemen heeft met het ophalen van mijn site. De Google Search Console is een tool waarmee je kan zien hoe goed je site presteert in Google. Je kunt daarnaast pagina’s aanbieden aan de zoekgigant of juist laten verwijderen.

Bij het aanbieden van pagina’s krijg ik de melding “Failed: Robots.txt unreachable”. Dat is gek! Zelf kan ik het instructiebestand voor bots gewoon openen en ook andere tools (zoals Microsoft’s zoekmachine Bing) kunnen er gewoon bij. Ik besluit contact op te nemen met mijn hostingpartij. Aan hun kant is er niks aan de hand verzekeren ze mij, voor de zekerheid kan ik het beste zelf even contact opnemen met Google. Leuk advies, maar een Amerikaanse techgigant bereiken is een illusie.

Ik besluit de situatie te accepteren en vertrouw op het advies van mijn hostingpartij. Het zal vast een tijdelijk probleem zijn bij Google.

Honderden pagina’s verdwijnen uit Google

Begin juni escaleert de situatie. In een paar dagen tijd daalt mijn Google-bezoek van een paar honderd klikken per dag naar minder dan honderd. Nul klikken lijkt een kwestie van tijd. Bovendien verdwijnen er zo’n tweehonderd pagina’s volledig uit Google. Onvindbaar in een paar dagen tijd, terwijl ik daarvoor voor sommige zoektermen bovenaan Google stond.

Wederom neem ik contact op met mijn hostingpartij: wat is er aan de hand?! Opnieuw krijg ik de bevestiging dat er aan hun kant niks aan de hand is. Ik neem er geen genoegen mee. Het kan toch niet zo zijn dat iets wat je in vijftien jaar opbouwt in enkele dagen uit Google verdwijnt en daarmee een groot deel van je bezoekers verliest.

“Het kan toch niet zo zijn dat iets wat je in vijftien jaar opbouwt in enkele dagen uit Google verdwijnt.”

Twee dagen na de mailwisseling krijg ik ineens een bericht van mijn hostingpartij: we hebben een instelling in ons systeem gevonden waarmee een deel van de Google-verzoeken werd geblokkeerd. Ze hebben de instelling aangepast en mijn site is ineens weer vindbaar. Geen indexeer-problemen meer.

Het oplossen van de fout betekent overigens niet dat de site even goed vindbaar is dan voorheen. Ik heb inmiddels ongeveer honderd missende pagina’s weer terug weten te krijgen in Google en het gaat nog enkele weken duren voordat ik alle pagina’s weer terug heb. Het verkeer uit Google is gelukkig ook weer een stuk hoger, maar nog niet op het oude niveau.

Het moraal van het verhaal: check de Google Search Console

Hoewel ik hoop dat je niet tegen dezelfde problemen aanloopt als ik, wil ik je graag een belangrijke les meegeven als je een blog of site hebt. Check de Google Search Console en neem de meldingen serieus. Als je een instelling over het hoofd ziet, kan het zo zijn dat je een hoop bezoek misloopt.

Bij zoekmachine-optimalisatie hebben we het vaak over SEO en daarbij gaat het vooral over het optimaliseren van je teksten. En hoewel dat zeker belangrijk is, heeft het allemaal geen nut als je je technische basis niet op orde hebt.

Ik ben blij dat mijn problemen grotendeels weer zijn opgelost. Maar mocht je een tip hebben voor een andere hostingpartij, dan mag je altijd een berichtje sturen 😉