Per recuperare il titolo della pagina e le informazioni correlate, Bitly recupera l'URL originale a cui punta il tuo Link breve. Questo potrebbe apparire come un clic sul link. Le nostre richieste rispettano lo standard robots.txt (http://www.robotstxt.org).
Se desideri richiedere che i nostri sistemi smettano di effettuare queste richieste, puoi farlo aggiornando il tuo file robots.txt sul dominio appropriato. Nota che memorizziamo nella cache il file robots.txt di un sito per 24 ore, quindi ci vorrà un giorno prima che la modifica abbia effetto.
La direttiva robots.txt per disabilitare questo comportamento è:
User-agent: bitlybot
Disallow: /