Screaming Frog – SEO Spider – ce aduce nou versiunea 6.0

Inca de la prima campanie SEO DWF (inceputa acum mai bine de 3 ani, pentru un benefciar care ne este in continuare client) am pariat pe tehnologie! Am intuit ca algoritmii Google vor devenii din ce in ce mai complecsi, iar performanta in SEO se va putea obtine doar prin utilizarea celor mai avansate instrumente SEO disponibile pe piata. Fie ca discutam despre activitati SEO precum keyword research, analiza de backlink-uri, diagnostic tehnic, optimizare continut sau monitorizare, o suita de tool-uri SEO profesionale este indispensabila in momentul de fata.

Unul dintre instrumentele cel mai des utilizate in cadrul DWF este Screaming Frog SEO Spider. In esenta, acesta este un soft care „crawl-eaza” un site, adica, plecand de la pagina principala a acestuia, „merge din link in link” pana alcatuieste o lista cu toate paginile site-ului. In linii mari, acest program functioneaza similar unui motor de cautare, care foloseste linkurile existente in interiorul unui site pentru a indexa toate paginile acestuia.

Recent a fost lansata versiunea 6.0 a programului Screaming Frog SEO Spider, care aduce optiuni noi, foarte utile intr-o campanie SEO. Cele mai interesante si pe care le-am integrat deja in procedurile interne de auditare SEO DWF sunt urmatoarele:

#1. Capacitatea de Rendered Crawling (JavaScript)

Modul in care Google „citeste” o pagina web a evoluat foarte mult, asemanandu-se in prezent destul de mult celui in care continutul se afiseaza intr-un browser modern. Practic, a trecut perioada in care Google indexa doar elementele de html, fiind din ce in ce mai frecvente cazurile in care se pot observa elemente de javascript sau ajax in cache-ul motorului de cautare.

Poti acum alege in daca Screaming Frog sa faca indexarea urmand exclusiv continutul si linkurile de tip html sau sa le includa si pe cele din javascript/ ajax. Optiunea este disponibila in meniul „Spider configuration > Rendering”. INformatii foarte valoroase cu privire la modul in care Google trateaza continutul in ajax si javascript gasiti in acest articol, publicat pe SearchEngineLand.

Cand se alege acest tip de crawling ne putem astepta la un timp mai mare, necesar pentru Screaming Frog SEO Spider sa indexeze acelasi numar de pagini. De asemenea, este posibil ca primele rezultate sa apara in lista mai greu decat in cazul unei indexari normale. De asemenea, pentru ca aceasta optiune sa functioneze, este necesar ca resursele de tip csssi javascript sa nu fie blocate de la indexare prin intermediul fisierului robots.txt.

Important: pentru ca prin aceasta metoda Screaming Frog va indexa paginile din site asemeni unui browser, este posibil ca activitatea sa fie inregistrata de solutia de Analytics folosita. In mod implicit, programul are setata o exceptie pentru neexecutarea codului de Google Analytics, insa daca folositi alt sistem de monitorizare, trebuie sa-l adaugati ca exceptie.

#2. Ordinea si afisarea coloanelor din raport sunt configurabile

Optiunea permite o buna personalizare a zonei de afisare a datelor, atat prin eliminarea coloanelor cu informatii ce nu constituie obiectul analizei, precum si prin reordonarea acestora, astfel incat coloanele sa poata fi prioritizate sau grupate, conform stilului de lucru al specialistului SEO ce coordoneaza campania.

Reordonarea se face usor, prin drag & drop, iar eliminarea anumitor coloane se poate obtine prin apasarea „plus-ului” din extremitatea dreapta a capului de tabel afisat in fereastra. Daca se doreste revenirea la configuratia initiala, exista optiunea „Reset Columns”.

#3. Indexarea fisierelor de tip sitemal.xml

Desi a existat si intrecut aceasta optiune, era pana acum nevoie de incarcarea efectiva a fisierelor in program. Incepand cu versiunea 6.0, Screaming Frog SEO Spider permite indicarea URL-ului la care se afla sitemap-ul pe care doriti sa-l crawlati. Daca fisierul este de tip sitemap index, programul va identifica toate sitemap-urile aferente si va verifica toate linkurile, din fiecare sitemap.

Optiunea este disponibila in meniul „List Mode > Upload list > Download sitemap” si salveaza foarte mult timp in analiza. Spre exemplu, puteti identifica acum foarte usor daca sitemap-ul generat contine URL-uri necanonice sau care sunt redirectionate spre alte adrese.

#4. Posibilitati avansate de scraping si extragere variabile

Cu ajutorul Screaming Frog SEO Spider se puteau si pana acum extrage anumite variabile din paginile indexate de program. Aceasta optiune este utila in momentul in care se doreste preluarea anumitor elemente meta (si nu numai) care nu sunt definite in mod implicit in Screaming Frog. In mod normal, aceasta functie nu se foloseste in analiza tehnica a unui site, insa pot exista cazuri exceptionale, in care este singura metoda eficienta de extragere a unor informatii. Pentru mai multe detalii, consultati ghidul detaliat, disponibil pe site-ul oficial.

#5. Alte update-uri, mai putin vizibile

• modul in care sunt gestionati parametrii rel=“next” si rel=“prev”, permite acum indexarea paginilor care nu au linkuri interne din site, ci sunt referentiate doar prin intermediul acestor taguri meta;
• a fost introdusa o coloana noua in raportul implicit, care calculeaza raportul dintre textul vizibil in pagina si cantitatea de cod html pe care aceasta o contine;
• s-a realizat un update in modul d einterogare al API-ului Google, astfel incat programul poate extrage acum mai mult de 5.000 de landing page-uri din Search Console;
• a fost inclus un user agent nou, care poate simula modul de indexare al Google pe echipamente mobile;
• au fost rezolvate mai multe bug-uri minore si a fost imbunatatita stabilitatea aplicatiei.

In cadrul DWF, asa cum spuneam la inceputul acestui articol, folosim o gama variata de instrumente SEO profesionale, pentru a obtine insight-uri valoroase si a identifica oportunitati de optimizare SEO in vederea cresterii vizibilitatii unui site in rezultatele organice Google si implicit a volumului d etrafic organic non-brand pe care acesta il atrage din motorul de cautare. Periodic, pe blogul DWF vom prezenta aceste instrumene si modul in care le utilizam, in efortul de a explica activitatea pe care o realizam si modul de lucru.

Ce optiuni din Screaming Frog SEO Spider va sunt cele mai utile in activitatea de SEO? Asteptam raspunsurile voastre in comentarii.