| www.GustavoGuardadoRoa.com |
Costa Rica (506) 8322-2771 - seoanddesign@gmail.com
robots.txt
User-agent: *
Disallow: /folder/
Disallow: /file.html
Disallow: /image.png
Disallow: /folder/
Disallow: /file.html
Disallow: /image.png
¿Qué es un archivo robots.txt?
El archivo robots.txt es un simple archivo de
texto ubicado en su servidor web que le dice a los webcrawlers como
Googlebot si deben acceder a un archivo o no.
Ejemplos básicos de robots.txt
Aquí hay algunas configuraciones comunes de robots.txt (te explicaré en detalle a continuación).
Permitir acceso completo
User-agent: *
Disallow:
Disallow:
Bloquear todo acceso
User-agent: *
Disallow: /
Disallow: /
Bloquear una carpeta
User-agent: *
Disallow: /folder/
Disallow: /folder/
Bloquear un archivo
User-agent: *
Disallow: /file.html
Disallow: /file.html
¿Por qué deberías aprender acerca de robots.txt?
- - El uso inadecuado del archivo robots.txt puede perjudicar tu clasificación
- - El archivo robots.txt controla cómo las arañas de los motores de búsqueda ven e interactúan con tus páginas web.- Este archivo se menciona en varias de las directrices de Google.
- - Este archivo, y los bots con los que interactúan, son partes fundamentales de cómo funcionan los motores de búsqueda
Sugerencia: para ver si tu archivo robots.txt está bloqueando archivos importantes utilizados por Google, use la herramienta de directrices de Google.
Motor de búsqueda de arañas
Lo primero que observa una araña de un motor de búsqueda como Googlebot cuando visita una página es el archivo robots.txt.
¿Qué es Googlebot?
- - Googlebot es el webcrawler utilizado por Google.
- - Es utilizado por Google para encontrar y recuperar páginas web.
- - La información recopilada por Googlebot se utiliza para actualizar el índice de Google.
Googlebot visita miles de millones de páginas web y visita constantemente páginas en toda la web.
¿Qué es un webcrawler?
Los rastreadores web (también conocidos como bots,
robots o arañas) son un tipo de software diseñado para seguir enlaces,
recopilar información y luego enviar esa información a algún lugar.
¿Qué hace Googlebot?
- - Lista de verificación para dónde ir
- escanear página
- enviar a Google
- lista y registro - - Googlebot recupera el contenido de las páginas web (las palabras, el código y los recursos que conforman la página web).
- Si el contenido que recupera tiene enlaces a otras cosas, eso se nota.
- Luego, envía la información a Google.
La diferencia entre Googlebot y el índice de Google.
Googlebot
- - Googlebot recupera contenido de la web.
- - Googlebot no juzga el contenido de ninguna manera, solo lo recupera.
- - La única preocupación que tiene Googlebot es "¿Puedo acceder a este contenido?" y "¿Hay algún otro contenido al que pueda acceder?"
El índice de Google
- - El índice de Google toma el contenido que recibe de Googlebot y lo usa para clasificar las páginas
El primer paso de ser clasificado por Google es ser recuperado por Googlebot.
Asegurando que Googlebot puede ver tus páginas
Dado que Googlebot es la forma en que Google actualiza su índice, es esencial que Googlebot pueda ver tus páginas.
Las primeras preguntas fundamentales que se debe hacer un webmaster son ...
- - ¿Puede Googlebot "ver" mis páginas?
- - ¿Puede Googlebot acceder a todo mi contenido y enlaces por completo?
- - ¿Puede Googlebot acceder a todos los recursos de mi página?
Echate un vistazo a cada uno de los más cercanos ...
Leer más acá --> ¿Qué son los archivos robots.txt? -
#SEOCostaRica - #PosicionamientoWebCostaRica - #MarketingDigital
