La gara sui fattori arcani è una sfida tra search engine optimization specialists italiani lanciata sul forum di Giorgiotave, nella sezione dedicata al posizionamento sui motori di ricerca. L'obiettivo è, neanche a dirlo, arrivare al primo posto per la parola chiave "fattori arcani". Ovviamente, il premio è puramente simbolico. Il vero obiettivo è studiare i motori di ricerca (meglio, IL motore di ricerca: Google) e capire come ottenere il miglior posizionamento.
Sappiamo che i motori di ricerca restituiscono i risultati per le ricerche ordinando le varie pagine pertinenti secondo un ordine che dipende dai loro algoritmi. Ogni motore usa un algoritmo differente, ed è questo il motivo per cui ogni motore di ricerca restituisce risultati diversi. Non è quindi compleamente errato definire fattori arcani gli elementi presi in considerazione da un algoritmo. Ma raramente i risultati sono molto diversi tra loro, dato che, più o meno, sono noti e condivisi i principali fattori che determinano il posizionamento di una pagina. Quello che cambia è il peso che i vari motori danno ai diversi fattori.
Ogni motore di ricerca svolge un lavoro che può essere suddiviso in tre step: prima lo spider, o crawler, naviga sul web e scarica tutte le pagine che trova, seguendo i vari links presenti nelle pagine; poi il motore di ricerca cataloga le singole pagine, seguendo fattori arcani; e alla fine risponde alle richieste degli utenti, in quella che è la parte del lavoro che chiunque ha visto almeno una volta.
La gara sui fattori arcani permetterà (o almeno, questo è l'obiettivo) di capire quali fattori hanno maggiore influenza, fattori che si dividono in due macro categorie: fattori on-site e fattori off-site. I primi sono quelli relativi al sito in sè, e riguardano quindi il contenuto ed il codice html (nonchè, va da sè, la struttura del sito stesso); i secondi sono invece esterni al sito, e riguardano quindi la link popularity, ovvero la quantità e la qualità dei link esterni che puntano al sito stesso, e fattori (più o meno arcani) come il comportamento degli utenti, comportamento che può essere analizzato, da parte di Google, grazie a strumenti come la Google Toolbar ™ e Google Analytics ™.
Il file robots.txt è uno strumento per dire agli spider quali pagine possono scaricare (to fetch) e quali invece no. Usato correttamente, permette di raffinare il percorso degli spider sul nostro sito, evitando che si incantino, ad esempio, in stupidi loop. Anche se non vogliamo bloccare alcun file presente sul nostro sito, è buona norma creare un file robots.txt da mettere nella document root.