¿Qué son los archivos robots.txt?

| www.GustavoGuardadoRoa.com |

Costa Rica (506) 8322-2771 - seoanddesign@gmail.com

Compartir esta página |

robots.txt

User-agent: *
Disallow: /folder/
Disallow: /file.html
Disallow: /image.png

¿Qué es un archivo robots.txt?

El archivo robots.txt es un simple archivo de texto ubicado en su servidor web que le dice a los webcrawlers como Googlebot si deben acceder a un archivo o no.

Ejemplos básicos de robots.txt

Aquí hay algunas configuraciones comunes de robots.txt (te explicaré en detalle a continuación).

Permitir acceso completo

User-agent: *
Disallow:

Bloquear todo acceso 

User-agent: *
Disallow: /

Bloquear una carpeta

User-agent: *
Disallow: /folder/

Bloquear un archivo

User-agent: *
Disallow: /file.html

¿Por qué deberías aprender acerca de robots.txt?

• - El uso inadecuado del archivo robots.txt puede perjudicar tu clasificación
• - El archivo robots.txt controla cómo las arañas de los motores de búsqueda ven e interactúan con tus páginas web.- Este archivo se menciona en varias de las directrices de Google.
• - Este archivo, y los bots con los que interactúan, son partes fundamentales de cómo funcionan los motores de búsqueda

Sugerencia: para ver si tu archivo robots.txt está bloqueando archivos importantes utilizados por Google, use la herramienta de directrices de Google.

Motor de búsqueda de arañas

Lo primero que observa una araña de un motor de búsqueda como Googlebot cuando visita una página es el archivo robots.txt.

¿Qué es Googlebot?

• - Googlebot es el webcrawler utilizado por Google.
• - Es utilizado por Google para encontrar y recuperar páginas web.
• - La información recopilada por Googlebot se utiliza para actualizar el índice de Google.

Googlebot visita miles de millones de páginas web y visita constantemente páginas en toda la web.

¿Qué es un webcrawler?

Los rastreadores web (también conocidos como bots, robots o arañas) son un tipo de software diseñado para seguir enlaces, recopilar información y luego enviar esa información a algún lugar. 

¿Qué hace Googlebot?

• - Lista de verificación para dónde ir
  - escanear página
  - enviar a Google
  - lista y registro 
• - Googlebot recupera el contenido de las páginas web (las palabras, el código y los recursos que conforman la página web).
  - Si el contenido que recupera tiene enlaces a otras cosas, eso se nota.
  - Luego, envía la información a Google.

La diferencia entre Googlebot y el índice de Google.

Googlebot

• - Googlebot recupera contenido de la web.
• - Googlebot no juzga el contenido de ninguna manera, solo lo recupera.
• - La única preocupación que tiene Googlebot es "¿Puedo acceder a este contenido?" y "¿Hay algún otro contenido al que pueda acceder?"

El índice de Google

• - El índice de Google toma el contenido que recibe de Googlebot y lo usa para clasificar las páginas

El primer paso de ser clasificado por Google es ser recuperado por Googlebot.

Asegurando que Googlebot puede ver tus páginas

Dado que Googlebot es la forma en que Google actualiza su índice, es esencial que Googlebot pueda ver tus páginas.

Las primeras preguntas fundamentales que se debe hacer un webmaster son ...

• - ¿Puede Googlebot "ver" mis páginas?
• - ¿Puede Googlebot acceder a todo mi contenido y enlaces por completo?
• - ¿Puede Googlebot acceder a todos los recursos de mi página?

Echate un vistazo a cada uno de los más cercanos ...

Leer más acá --> ¿Qué son los archivos robots.txt? -
#SEOCostaRica - #PosicionamientoWebCostaRica - #MarketingDigital