Todo lo que debes saber del archivo robots.txt

destacado archivo robots txt

Un archivo robots.txt es un documento de texto que se encuentra en el directorio raíz de un sitio y que contiene información destinada a los rastreadores para la optimización de motores de búsqueda sobre qué URLs deben rastrearse  y cuáles no.

Según el Centro de Ayuda de Google, el objetivo principal del archivo no es impedir que las páginas web se muestren en los resultados de búsqueda, sino limitar el número de peticiones que los robots realizan a los sitios, así como reducir la carga del servidor.

En general, el contenido del archivo robots.txt debe considerarse como una recomendación para los rastreadores de búsqueda. ¿Y cómo acceder a ella? En el siguiente artículo, te mostramos todo lo que debes saber de este documento.

¿Para qué sirve el archivo robots.txt?

La función principal de este documento es impedir el escaneo de páginas y archivos de recursos para que el rastreo sea más eficiente. En la mayoría de los casos, el archivo robots.txt oculta información que no aporta ningún valor a los visitantes del sitio web y no afecta a las clasificaciones en las SERP.

¿Cómo crear un archivo robots.txt y dónde colocarlo?

crear robots txt

1. Herramientas para configurar el archivo robots.txt

Dado que el documento tiene una extensión .txt, cualquier editor de texto que soporte la codificación UTF-8 será adecuado. La opción más sencilla es el Bloc de notas (Windows) o TextEdit (Mac). También puedes utilizar una herramienta generadora de robots.txt que creará un archivo robots.txt basado en la información especificada.

2. Título y tamaño del archivo

El nombre del archivo debe tener este formato: robots.txt, sin mayúsculas. Según las directrices de Google, el tamaño permitido es de 500 KiB. Si se supera este límite, el robot de búsqueda procesará parcialmente el documento y no rastreará el sitio web o, por el contrario, escaneará el contenido de un sitio web en su totalidad.

3. Ubicación del archivo

El documento debe estar ubicado en el directorio raíz del alojamiento del sitio web y podrás acceder a él a través de FTP. Antes de realizar cualquier cambio, te recomendamos descargar el archivo robots.txt en su forma original.

Te puede interesar: ¿Qué son los informes de rastreo de Google Search Console y cómo utilizarlos?

Sintaxis y directivas de robots.txt 

sintaxis directivas robots txt

Ahora veamos a detalle la sintaxis de un archivo robots.txt que consiste en directivas (reglas), parámetros (páginas, archivos, directorios) y caracteres especiales, así como las funciones propias que realizan.

Requisitos generales del contenido de los archivos

  • Cada directiva debe empezar en una nueva línea y estar formada según el principio: una línea = una directiva + un parámetro.
  • Los nombres de archivos que utilicen alfabetos distintos del latín deben convertirse ser convertidos mediante el conversor Punycode.
  • En la sintaxis de los parámetros, debes ceñirte al registro correspondiente. Por ejemplo, si el nombre comienza con una letra mayúscula, nombrarla con una letra minúscula desorientará al robot, viceversa.
  • Queda absolutamente prohibido el uso de un espacio al principio de una línea, comillas o punto y coma para las directivas.
  • Los motores de búsqueda pueden percibir un archivo robots.txt vacío o inaccesible como un permiso para rastrear todo el sitio. Pero, para que este tenga éxito, es necesario que generes el código de estado de respuesta 200 OK HTTP.

Símbolos

A continuación, analicemos los principales símbolos que contiene el archivo robots.txt y descubramos qué significa cada uno de ellos.

  • La barra (/) se añade después del comando, antes del nombre del archivo o directorio (carpeta, sección). Si quieres cerrar todo el directorio, tienes que poner otra «/» después del nombre.
  • El asterisco (*) indica que el archivo robots.txt se aplica a todos los robots de los motores de búsqueda que visitan el sitio.
  • El signo de dólar ($) es una restricción de tipo asterisco que se aplica a las direcciones URL de los sitios.
  • El numeral (#) marca cualquier texto después de ella como un comentario, el cual significa que no será tenido en cuenta por los robots de búsqueda.

Directivas

1. Agente de usuario

El agente de usuario es una directiva obligatoria que define el robot de búsqueda y al que se aplican reglas definidas. Si hay varios robots, cada grupo de reglas comienza con esta directiva.

2. Deshabilitar (disallow)

Disallow es un comando clave que indica a los bots de los motores de búsqueda que no analicen una página, archivo o carpeta. Los nombres de los archivos y carpetas a los que se quiere restringir el acceso se indican después del símbolo «/».

3. Habilitar (allow)

En el archivo robots.txt, allow realiza la función opuesta a disallow, permitiendo el acceso al contenido del sitio web. Ambos comandos suelen utilizarse en conjunto, por ejemplo, cuando debes abrir el acceso a una determinada información, como una foto en un directorio de archivos multimedia oculto.

4. Sitemap (mapa de sitio)

Este comando muestra la ruta del mapa de sitio. Pero también puede omitirse si este tiene un nombre estándar, ubicado en el directorio raíz y si es accesible a través del enlace «nombre del sitio»/sitemap.xml.

5. Demora de rastreo

Para evitar la sobrecarga del servidor, se puede indicar a los robots de búsqueda el número de segundos recomendado para procesar una página. Sin embargo, hoy en día los motores de búsqueda rastrean las páginas con un retraso de 1 o 2 segundos.

¿Cómo comprobar tu archivo robots.txt?

A veces, los errores en el archivo robots.txt pueden conducir no solo a la exclusión de páginas importantes del índice, sino a que todo el sitio sea prácticamente invisible para los motores de búsqueda.

La opción de comprobación del archivo robots.txt no aparece en la nueva interfaz de Google Search Console. Ahora podrás comprobar la indexación de las páginas de forma individual (Comprobar URL) o enviar solicitudes de eliminación de URLs (Índice – Eliminaciones). 

Hasta aquí, hemos visto todo sobre el archivo robots.txt y cómo indexar tu página web en Google. Esperamos que este artículo te sirva de ayuda a la hora de desarrollar tu página web. No olvides tener en cuenta este archivo, sus directivas y ventajas ¡Sácale provecho al máximo!

Traducido y adaptado de Robots.txt file: What it is, how to set it up, how to check it

Contáctanos si está interesado en posicionarte orgánicamente en Google. En Capybara SEO podemos ayudarte con diferentes estrategias y herramientas.

48 Comments
  • Avatar
    Christine
    29 marzo, 2024

    Hi there! Do you know if they make any plugins to help with Search Engine Optimization? I’m trying to get my blog to rank for some
    targeted keywords but I’m not seeing very good success.
    If you know of any please share. Kudos! You can read similar article here: Sklep internetowy

    Reply
  • Avatar
    Karol
    3 abril, 2024

    Hi there! Do you know if they make any plugins to help with Search Engine Optimization? I’m trying to get my
    blog to rank for some targeted keywords but I’m not seeing very good
    gains. If you know of any please share. Thank you! You can read similar blog here:
    AA List

    Reply
  • Avatar
    Sherrill
    4 abril, 2024

    Hi! Do you know if they make any plugins to assist with SEO?
    I’m trying to get my website to rank for some targeted keywords but I’m
    not seeing very good results. If you know of any please share.
    Kudos! I saw similar text here: Auto Approve List

    Reply
  • Avatar
    Christena
    2 mayo, 2024

    See What Porn Star Kayleigh Wanless Tricks The Celebs
    Are Using porn star Kayleigh wanless

    Reply
  • Avatar
    Judson
    3 mayo, 2024

    How To Determine If You’re Prepared For Best Accident Attorney Determine

    Reply
  • Avatar
    Johanne Erfert
    6 mayo, 2024

    up

    Reply
  • Avatar
    Shella
    6 mayo, 2024

    What Is The Heck What Exactly Is Best Accident Attorney?
    top accident attorney (Jonathon)

    Reply
  • Avatar
    Gretchen
    7 mayo, 2024

    How To Beat Your Boss In Ticktok Pornstars
    Subscribe for free

    Reply
  • Avatar
    Russ
    7 mayo, 2024

    What’s The Current Job Market For Best Accident Attorney Professionals?
    Accident attorney

    Reply
  • Avatar
    대출
    9 mayo, 2024

    Informative Site… Hello guys here are some links that contains information that you may find useful yourselves. It’s Worth Checking out 급전

    Reply
  • Avatar
    Cristobal Siewert
    9 mayo, 2024

    «Situs penghasil uang terbaik emang pilihan yang tepat buat yang pengen dapet duit tambahan. Gak ada ruginya!»

    Reply
  • Avatar
    급전
    10 mayo, 2024

    I’m inspired by your passion for this subject.대출

    Reply
  • Avatar
    대출
    10 mayo, 2024

    Your writing has a real impact on me.급전

    Reply
  • Avatar
    급전
    11 mayo, 2024

    Your article is thought-provoking and insightful.급전

    Reply
  • Avatar
    Layla
    12 mayo, 2024

    Tips On Playing Slot Machine Game 프라그마틱 슬롯 (http://ksbbs.hzrtv.cn/home.php?mod=space&uid=2722698)

    Reply
  • Avatar
    Luther
    12 mayo, 2024

    Rules Of French Roulette – Kinds Of Bet You Will Understand To Win French Roulette 에볼루션카지노

    Reply
  • Avatar
    대출
    12 mayo, 2024

    Your blog has become a trusted source of information for me. Thank you!급전

    Reply
  • Avatar
    Blaine
    12 mayo, 2024

    Create A Killer Product By Writing Your Sales Letter First 프라그마틱 슬롯 사이트

    Reply
  • Avatar
    급전
    12 mayo, 2024

    I’m inspired by your dedication to this cause.대출

    Reply
  • Avatar
    Tyree
    13 mayo, 2024

    A Glimpse At Factors To Opt For In A Respectable Casino Bonus 온라인카지노 (79bo3.com)

    Reply
  • Avatar
    Taylor
    13 mayo, 2024

    Roulette Strategy – Intuition To Predict Winning Gains? 카지노사이트;
    http://bbs.darkml.net/home.php?mod=space&uid=7951802,

    Reply
  • Avatar
    대출
    13 mayo, 2024

    Your writing style is engaging and informative. Thank you for sharing your expertise.대출

    Reply
  • Avatar
    Everett
    13 mayo, 2024

    Credit Card Number Validator – A Proven Way Of Checking Every Card 일수대출

    Reply
  • Avatar
    급전
    14 mayo, 2024

    Your writing has a real impact on me.급전

    Reply
  • Avatar
    Anh
    14 mayo, 2024

    The No. Question That Everyone In Accident Attorneys Needs To Know How To Answer birmingham accident attorneys – Lisa

    Reply
  • Avatar
    Chante
    14 mayo, 2024

    What’s The Fuss About Attorneys Accidents? bronx Accident attorney

    Reply
  • Avatar
    Imogen
    14 mayo, 2024

    See What Personal Accident Attorney Tricks The Celebs Are Using
    personal accident attorney – http://chungwooh.com/Bbs/board.php?bo_table=free&wr_id=18545,

    Reply
  • Avatar
    Kent
    14 mayo, 2024

    Five Killer Quora Answers To Accident Attorney Near
    Me Accident Attorney Near Me; Zimbra.Tensoft.Kr,

    Reply
  • Avatar
    Elouise
    14 mayo, 2024

    It’s The Complete Guide To Best Accident Attorney accident attorney Michigan

    Reply
  • Avatar
    blogpulse
    15 mayo, 2024

    Your writing style is engaging and informative. Keep it up!rendingnicheblog

    Reply
  • Avatar
    Vaughn
    15 mayo, 2024

    10G Desert Sands Casino Poker Chips Review 카지노슬롯

    Reply
  • Avatar
    Leanne
    15 mayo, 2024

    What’s The Current Job Market For Star Porn Professionals?
    Star Porn

    Reply
  • Avatar
    Loyd
    16 mayo, 2024

    Five Find Accident Attorney Lessons Learned From Professionals utah accident attorney

    Reply
  • Avatar
    blogpulse
    16 mayo, 2024

    I really appreciate the thorough analysis you’ve provided here.swiftnook

    Reply
  • Avatar
    Millard
    17 mayo, 2024

    Discussion On House Edge In Casino Gambling 프라그마틱 슬롯 사이트; Sokolka.Praca.Gov.Pl,

    Reply
  • Avatar
    Marcia
    17 mayo, 2024

    The Guide To Playing Online Slot Machines – Video Slot Games
    프라그마틱

    Reply
  • Avatar
    Domenic
    17 mayo, 2024

    Top Recommendations Win In The Roulette Table 에볼루션카지노
    (https://glamorouslengths.com/author/fathernoise65)

    Reply
  • Avatar
    slotcoin
    17 mayo, 2024

    Great post! I learned a lot from your insights. Thank you for sharing.slotcoin

    Reply
  • Avatar
    Sharyn
    18 mayo, 2024

    2 To Help Get More Blog Traffic Without Spending A Associated With Time Online echozone (https://echozone.top)

    Reply
  • Avatar
    Clemmie
    18 mayo, 2024

    Tips For Winning At Slot Machines 카지노 (funsilo.date)

    Reply
  • Avatar
    Amado
    19 mayo, 2024

    Could Pornstar UK Be The Key To 2023’s Resolving? Uk Porn Star

    Reply
  • Avatar
    here
    20 mayo, 2024

    I really appreciate the thoroughness of your research and the clarity of your writing. This was a very insightful post. Great job!slotcoin

    Reply
  • Avatar
    mainaja
    20 mayo, 2024
    Reply
  • Avatar
    Maynard
    20 mayo, 2024

    Baccarat Strategy – Best Man Best 카지노슬롯게임

    Reply
  • Avatar
    website
    20 mayo, 2024

    l free to adjust these comments as needed to better fit the specific blog posts you’re responding to!dashdome

    Reply
  • Avatar
    Kennith
    20 mayo, 2024

    Different Kinds Of Personal Loans 통신연체대출

    Reply
  • Avatar
    Brigida
    21 mayo, 2024

    Attorneys Accidents Techniques To Simplify Your Daily Lifethe One Attorneys Accidents
    Trick That Every Person Must Be Able To Attorneys Accidents

    Reply
  • Avatar
    Anderson
    21 mayo, 2024

    Five Quick Tips For Winning More At Baccarat 카지노슬롯사이트 (https://wikimapia.org)

    Reply
Post a comment