¿Cómo utilizar Chrome para ver un sitio web como Googlebot?

¿Googlebot no rastrea ni indexa correctamente tu sitio web? Para los SEOs técnicos, los problemas de renderización, especialmente en sitios con mucho JavaScript, pueden afectar el posicionamiento orgánico y ocultar contenido importante.

Aquí es donde entra en juego el uso de Chrome (o Chrome Canary) para emular Googlebot. Este método descubre las discrepancias entre lo que ven los usuarios y los motores de búsqueda, asegurando que tu sitio funcione como debería.

Ya sea suplantando a Googlebot para SEO o no, con un navegador de prueba específico, las auditorías técnicas se vuelven más eficientes y precisas.

En esta guía, te mostraremos cómo configurar un navegador para Googlebot, solucionar problemas de renderización y mejorar tus auditorías SEO. 

¿Por qué deberías ver un sitio web como Googlebot?

En el pasado, las auditorías técnicas de SEO eran más sencillas. Los sitios web se basaban en HTML y CSS, y JavaScript se limitaba a pequeñas mejoras como animaciones. Hoy en día, los sitios web se construyen completamente con JavaScript, lo que traslada la carga de trabajo de los servidores a los navegadores.

Esto significa que los bots de búsqueda, incluido Googlebot, deben renderizar las páginas del lado del cliente, un proceso que consume muchos recursos y es propenso a retrasos.

Estos bots a menudo tienen problemas con JavaScript. Googlebot, por ejemplo, procesa primero el HTML sin procesar y puede que no renderice por completo el contenido JavaScript hasta días o semanas después, dependiendo del sitio web.

Algunos sitios utilizan la renderización dinámica para evitar estos desafíos, ofreciendo versiones del lado del servidor para los bots y versiones del lado del cliente para los usuarios.

¿Qué podemos decir al respecto?

En general, esta configuración complica demasiado los sitios web y genera más problemas técnicos de SEO que un sitio web renderizado del lado del servidor o HTML tradicional. Por suerte, el uso de webs renderizadas dinámicamente está disminuyendo.

Aunque existen excepciones, los sitios web renderizados del lado del cliente pueden ser una mala idea. Los sitios deben diseñarse para funcionar en el denominador común más bajo de un dispositivo, con una mejora progresiva (mediante JavaScript) para optimizar la experiencia de las personas que usan dispositivos capaces de manejar funciones adicionales.

Estos sitios web también suelen ser más difíciles de utilizar para los usuarios que dependen de soluciones de accesibilidad, como los lectores de pantalla. Varios estudios respaldan esta afirmación, sobre todo aquellos provenientes de empresas y organizaciones benéficas comprometidas con la accesibilidad. Sin embargo, existen casos en los que el SEO técnico y la usabilidad se cruzan.

La buena noticia es que ver un sitio web como Googlebot te permite detectar discrepancias entre lo que ven los bots y lo que ven los usuarios. A pesar de que estas vistas no necesitan ser idénticas, los elementos críticos, como la navegación y el contenido, deben coincidir.

Este enfoque ayuda a identificar problemas de indexación y clasificación causados por limitaciones de renderizado y otras peculiaridades específicas de los bots de búsqueda.

Te puede interesar: ¿Por qué es importante realizar una auditoría SEO?

¿Podemos ver lo que ve Googlebot?

No, no completamente. Googlebot renderiza páginas web con una versión headless o sin interfaz gráfica del navegador Chrome, pero incluso con las técnicas mencionadas en este artículo, es imposible replicar su comportamiento a la perfección. Por ejemplo, el manejo de JavaScript por parte de Googlebot puede ser impredecible.

Un error notable en setiembre de 2024 impidió que Google detectara las etiquetas meta noindex en el código renderizado del lado del cliente en muchos sitios web basados en React. Problemas como estos resaltan las limitaciones de emular Googlebot, especialmente para elementos importantes de SEO como las etiquetas y el contenido principal.

No obstante, el objetivo es emular la indexación mobile-first de Googlebot lo más fielmente posible. Para ello, utilizamos una combinación de herramientas:

• Un navegador de Googlebot para la emulación directa.
• Screaming Frog SEO Spider para suplantar y renderizar como Googlebot.
• Herramientas de Google como la Herramienta de Inspección de URLs en Search Console y la Prueba de Resultados Enriquecidos para capturas de pantalla y análisis de código.

Cabe destacar que las herramientas de Google, tras el cambio al agente de usuario «Google-InspectionTool» en 2023, no son representaciones completamente precisas de lo que ve Googlebot. Aun así, cuando se usan junto con el navegador de Googlebot y SEO Spider, son valiosas para identificar posibles problemas y solucionarlos.

¿Por qué usar un navegador independiente para ver sitios web como Googlebot?

Usar un navegador dedicado a Googlebot simplifica las auditorías técnicas de SEO y mejora la precisión de tus resultados. A continuación, te explicamos por qué:

1. Conveniencia

Un navegador dedicado ahorra tiempo y esfuerzo al permitirte emular rápidamente Googlebot sin depender de múltiples herramientas. Cambiar de agente de usuario en una extensión de navegador estándar puede ser ineficiente, en especial al auditar sitios con respuestas de servidor inconsistentes o contenido dinámico.

Además, algunas configuraciones específicas de Googlebot en Chrome no se mantienen entre pestañas o sesiones, y ciertas configuraciones, como deshabilitar JavaScript, pueden interferir con otras pestañas en las que estés trabajando. Puedes evitar estos problemas y agilizar tu proceso de auditoría con un navegador independiente.

2. Mayor precisión

Las extensiones de navegador pueden alterar involuntariamente la apariencia o el comportamiento de los sitios web. Un navegador dedicado a Googlebot minimiza el número de extensiones, reduciendo la interferencia y garantizando una emulación más precisa de la experiencia de Googlebot.

3. Menos errores

Es fácil olvidar desactivar la suplantación de Googlebot en un navegador estándar, lo que puede hacer que los sitios web fallen o bloqueen el acceso. Algunos usuarios incluso han sido bloqueados de sitios web por ello y han tenido que enviar un correo electrónico con su IP para retirar el bloqueo.

4. Flexibilidad a pesar de los desafíos

Durante muchos años, el navegador de Googlebot funcionó sin problemas. Ahora, con el auge de Cloudflare y sus protocolos de seguridad más estrictos en los sitios de e-commerce, suele ser necesario que los clientes añadan IPs específicas a una lista blanca para poder probar sus sitios emulando a Googlebot.

Cuando no se puede realizar una lista blanca, se recurre a alternativas como el agente de usuario de Bingbot o DuckDuckBot. Aunque estas soluciones son menos confiables que imitar a Googlebot, pueden proporcionar información valiosa. 

Otra alternativa es revisar el HTML renderizado en Google Search Console, que, a pesar de su limitación de ser un agente de usuario diferente al rastreador de Google, sigue siendo una forma confiable de emular el comportamiento de Googlebot.

Si se audita un sitio que bloquea los Googlebots no oficiales y se logra permitir las IPs, el navegador de Googlebot sigue siendo la herramienta preferida. Es más que un simple conmutador de agente de usuario y ofrece la forma más completa de entender lo que ve Googlebot.

¿Qué auditorías SEO son útiles para un navegador de Googlebot?

El caso de uso más común para un navegador de Googlebot es auditar sitios web que dependen de la renderización del lado del cliente o dinámica. Es una forma sencilla de comparar lo que Googlebot ve con lo que un visitante general ve, destacando discrepancias que podrían afectar el rendimiento del sitio en los resultados de búsqueda.

Dado que se recomienda limitar el número de extensiones de navegador a las esenciales, también es una prueba más precisa sobre cómo los usuarios reales de Chrome experimentan un sitio web, sobre todo cuando se utilizan las herramientas integradas DevTools y Lighthouse de Chrome para auditorías de velocidad, por ejemplo.

Incluso para los sitios web que no emplean la renderización dinámica, nunca se sabe lo que podrías encontrar al suplantar a Googlebot.

¿Qué deberías investigar durante una auditoría con Googlebot?

• Diferencias de navegación: ¿La navegación principal es coherente en las vistas de usuario y de bot?
• Visibilidad del contenido: ¿Puede Googlebot ver el contenido que deseas indexar?
• Retrasos en la indexación de JavaScript: Si el sitio depende de la renderización de JavaScript, ¿será el contenido nuevo indexado con la rapidez suficiente para ser relevante (por ejemplo, para eventos o lanzamientos de productos)?
• Problemas de respuesta del servidor: ¿Las URLs devuelven respuestas correctas del servidor? Una URL incorrecta podría mostrar un “200 OK” para Googlebot, pero un “404 Not Found” para los visitantes.
• Variaciones en el diseño de la página: Al simular Googlebot, quizá encuentres enlaces que se muestran como texto azul sobre un fondo negro. Es comprensible para las máquinas, pero no es amigable para los usuarios. Si Googlebot no puede renderizar tu sitio correctamente, no sabrá qué priorizar.
• Redirecciones basadas en geolocalización: Muchos sitios web redirigen en función de la ubicación. Dado que Googlebot rastrea principalmente desde IPs estadounidenses, es importante verificar cómo tu sitio gestiona estas solicitudes.

El nivel de detalle depende de la auditoría, pero Chrome ofrece muchas herramientas integradas para auditorías técnicas de SEO. Por ejemplo, puedes comparar los datos de las pestañas Console y Network para identificar discrepancias entre las vistas generales de los visitantes y las de Googlebot. Este proceso detecta archivos bloqueados para Googlebot o contenido faltante que, de otro modo, podría pasar desapercibido.

Te puede interesar: Auditoría SEO técnico: Descubre 5 beneficios de aplicarla en tu página web

¿Cómo configurar el navegador de Googlebot?

Configurar un navegador de Googlebot toma alrededor de 30 minutos y facilita mucho la visualización de páginas web como dicho rastreador. Aquí te explicamos cómo empezar:

1. Descarga e instala Chrome o Canary

Si Chrome no es tu navegador predeterminado, puedes utilizarlo como navegador de Googlebot. De lo contrario, descarga e instala Chrome Canary en su lugar. 

Canary es una versión de desarrollo de Chrome donde Google prueba nuevas funciones. Se ejecuta por separado de la instalación predeterminada de Chrome y se identifica fácilmente por su ícono amarillo, un guiño a los canarios que se usaban en las minas para detectar gases venenosos.

Aunque está etiquetado como “inestable”, no representa muchos problemas al usarlo como navegador de Googlebot. De hecho, ofrece funciones beta útiles para las auditorías. Si estas funciones llegan a Chrome, estarás a la vanguardia y podrás impresionar a tus colegas que no emplean Canary.

2. Instala extensiones del navegador

Para optimizar tu navegador de Googlebot, te aconsejamos instalar cinco extensiones clave y un marcador. Estas herramientas emulan Googlebot y mejoran las auditorías técnicas de SEO. 

Veamos las tres principales extensiones que serán útiles para sitios web con mucho contenido en JavaScript:

• User-Agent Switcher: Cambia el agente de usuario del navegador para imitar el comportamiento de Googlebot.
• Web Developer: Permite activar o desactivar JavaScript con gran facilidad, lo que da una idea de cómo Googlebot podría procesar el sitio.
• Windscribe (o tu VPN preferida): Simula la ubicación de Googlebot, normalmente en Estados Unidos, para garantizar que se tienen en cuenta las discrepancias basadas en la ubicación.

Antes de proceder al paso 3, desglosemos estas extensiones:

User-Agent Switcher

Esta extensión hace exactamente lo que dice: cambia el agente de usuario del navegador. Aunque Chrome y Canary incluyen una configuración de agente de usuario integrada, solo se aplica a la pestaña activa y se restablece al cerrar el navegador. Usar esta extensión garantiza la coherencia entre sesiones.

Tomemos la cadena de agente de usuario de Googlebot desde la configuración del navegador Chrome, que, al momento de escribir este artículo, es la versión más reciente de Chrome. Veamos cómo configurarlo:

1. Obtén la cadena de agente de usuario de Googlebot:

• Abre Chrome DevTools pulsando F12 o yendo a Más herramientas > Herramientas para desarrolladores.
• Ve a la pestaña Red (Network).
• Desde el menú hamburguesa en la parte superior derecha de la pestaña Red, selecciona Más herramientas > Condiciones de red.
• En la pestaña Condiciones de red:
  • Desmarca «Usar navegador por defecto».
  • Selecciona «Googlebot Smartphone» de la lista.
  • Copia y pega el agente de usuario del campo que aparece debajo de la lista en la lista de la extensión User-Agent Switcher. Recuerda volver a configurar el agente de usuario predeterminado de Chrome si es tu navegador principal.

• Un consejo adicional para los usuarios de Chrome: si este será tu navegador Googlebot, marca “Inhabilitar caché” en DevTools para obtener resultados más precisos durante las pruebas.

2. Añade el agente de usuario a la extensión:

• Haz clic derecho en el ícono de User-Agent Switcher en la barra de herramientas del navegador y selecciona “Opciones”.
• «Indicador de bandera» es el texto en la barra de herramientas del navegador que muestra el agente de usuario que seleccionaste. Pega la cadena del agente de usuario de Googlebot en la lista y asígnale una etiqueta (por ejemplo, «GS» para Googlebot Smartphone).
• Si lo deseas, puedes añadir otros agentes de usuario como Googlebot Desktop, Bingbots o DuckDuckBot para hacer pruebas más amplias.

¿Y por qué suplantar el agente de usuario de Googlebot? Porque los servidores web identifican los navegadores a través de sus cadenas de agente de usuario. Por ejemplo, el agente de usuario de un dispositivo con Windows 10 que utilice Chrome podría verse así:

Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36

Web Developer

La extensión Web Developer es una herramienta esencial para los SEOs técnicos, especialmente cuando auditan sitios web con mucho JavaScript. En el navegador Googlebot, puedes activar y desactivar JavaScript para imitar cómo Googlebot procesa una página web.

¿Pero por qué deshabilitar JavaScript? Pues Googlebot no ejecuta todo el JavaScript en su primer rastreo de una URL. Para entender lo que ve antes de procesar JavaScript, desactívalo. Esto revela el contenido HTML sin procesar y ayuda a identificar problemas críticos, como la falta de navegación o contenido que depende de JavaScript para mostrarse.

Al alternar JavaScript con esta extensión, obtienes información sobre cómo se comporta tu sitio frente a los motores de búsqueda durante el primer rastreo crucial.

Windscribe (u otra VPN)

Windscribe, o cualquier VPN confiable, es invaluable para emular la ubicación típica de Googlebot en Estados Unidos. Lo mejor es que el plan gratuito incluye hasta 2 GB de datos mensuales y ofrece varias ubicaciones en dicho país.

Aquí te damos algunos tips para usar una VPN con tu navegador Googlebot:

• No te preocupes por la ubicación: Googlebot suele rastrear desde Estados Unidos, por lo que cualquier ubicación estadounidense sirve. 
• Desactiva configuraciones innecesarias: La extensión de navegador de Windscribe bloquea anuncios por defecto, lo que puede interferir con la forma en que se renderizan las páginas web. Asegúrate de que los dos íconos en la esquina superior derecha muestren un cero.
• Usa una extensión de navegador en lugar de una aplicación: Una extensión de VPN vincula la suplantación de ubicación a tu navegador Googlebot, garantizando que tu navegación estándar no se vea afectada.

Estas herramientas, junto con User-Agent Switcher, mejoran tu capacidad para emular Googlebot, revelando discrepancias de contenido y posibles problemas de indexación.

¿Y por qué te conviene suplantar la ubicación de Googlebot al realizar auditorías? Además de que Googlebot rastrea principalmente sitios web desde IPs estadounidenses, existen otras razones clave:

• Bloqueo basado en geolocalización: Algunos sitios web bloquean el acceso a IPs de EE. UU., lo que significa que Googlebot no puede rastrearlos ni indexarlos. Suplantar una ubicación en este país asegura que veas el sitio como lo haría Googlebot. 
• Redirecciones específicas por ubicación: Muchos sitios web ofrecen contenido diferente según la ubicación. Por ejemplo, una empresa podría tener sitios separados para Asia y Estados Unidos, con los visitantes estadounidenses redirigidos de forma automática al sitio correspondiente. En estos casos, Googlebot podría nunca encontrar la versión asiática, dejándola sin indexar.

Otras extensiones de Chrome útiles para auditar sitios web en JavaScript

Más allá de lo imprescindible, como User-Agent Switcher y una VPN, estas son algunas herramientas adicionales recomendadas para auditorías técnicas:

• Link Redirect Trace: Muestra las respuestas del servidor y los encabezados HTTP, ayudando a solucionar problemas técnicos. 
• View Rendered Source: Compara el HTML sin procesar (entregado por el servidor) con el HTML renderizado (procesado por el navegador), detectando discrepancias en lo que ven los usuarios y Googlebot. 
• Marcador NoJS Side-by-Side: Permite comparar una página web con y sin JavaScript habilitado, mostrando ambas versiones lado a lado en la misma ventana del navegador.

3. Configura el navegador para emular Googlebot

A continuación, configura los ajustes del navegador de Googlebot para que coincidan con lo que Googlebot no admite al rastrear un sitio web, como:

• Service workers: Dado que los usuarios que hacen clic en los resultados de búsqueda pueden no haber visitado la página antes, Googlebot no almacena en caché los datos para visitas posteriores.
• Solicitudes de permisos: Googlebot no procesa notificaciones push, acceso a cámaras web, solicitudes de geolocalización ni funciones similares. Por lo tanto, cualquier contenido que dependa de estos permisos no será visible para él.
• Estado: Googlebot no mantiene estado, es decir, no retiene datos como cookies, almacenamiento de sesiones, almacenamiento local o IndexedDB. Aunque estos mecanismos pueden almacenar datos temporalmente, se borran antes de que Googlebot rastree la siguiente URL.

3.1 Configuraciones de DevTools

Necesitarás ajustar algunas opciones en las Herramientas para desarrolladores (DevTools) para configurar tu navegador de Googlebot para una emulación precisa.

Primero, debes abrir DevTools de esta manera:

1. Presiona F12, o abre el menú hamburguesa en la esquina superior derecha de Chrome o Canary, y ve a Más herramientas > Herramientas para desarrolladores.
2. La ventana de DevTools está anclada dentro del navegador por defecto, pero puedes cambiarla. Usa el segundo menú hamburguesa en DevTools para cambiar el lado del anclaje o abrirlo en una ventana separada.

Ahora, algunas configuraciones clave en DevTools son:

• Inhabilitar caché:
  • Es posible que ya hayas hecho esto si usas Chrome como navegador Googlebot.
  • Si no, en DevTools, abre el menú hamburguesa, ve a Más herramientas > Condiciones de red y marca la opción «Inhabilitar caché».

• Bloquear service workers:
  • Ve a la pestaña Aplicación en DevTools.
  • Bajo la sección de Service workers, marca la opción «Saltar para acceder a red».

3.2 Configuraciones generales del navegador

Ajusta las configuraciones generales del navegador para reflejar el comportamiento de Googlebot:

• Bloquea todas las cookies:
  • Ve a Configuración > Privacidad y seguridad > Cookies, o ingresa chrome://settings/cookies en la barra de direcciones.
  • Selecciona «Bloquear todas las cookies (no recomendado)».

• Ajusta los permisos del sitio:
  • En Privacidad y seguridad, ve a Configuración de sitios o introduce chrome://settings/content.
  • En Permisos, bloquea Ubicación, Cámara, Micrófono y Notificaciones.
  • En la sección de Permisos adicionales, desactiva Sincronización en segundo plano.

4. Emula un dispositivo móvil

Como Googlebot utiliza principalmente el rastreo mobile-first, es importante emular un dispositivo móvil en el navegador de Googlebot. Para ello, sigue estos pasos:

1. Abre DevTools y haz clic en la barra de herramientas del dispositivo situada en la esquina superior izquierda.
2. Elige un dispositivo para emular desde el menú desplegable o agrega un dispositivo personalizado para realizar pruebas más específicas.

Asimismo, considera que:

• Googlebot no se desplaza por las páginas web. En su lugar, renderiza usando una ventana con una gran altura vertical.
• Aunque la emulación móvil es esencial, también te recomendamos hacer pruebas en la vista de escritorio y, si es posible, en dispositivos móviles reales para verificar los resultados.

¿Y si visualizas un sitio web como un Bingbot?

Para crear un navegador Bingbot, utiliza una versión reciente de Microsoft Edge y configúralo con el agente de usuario de Bingbot.

Deberías considerarlo porque:

• El comportamiento de Bingbot es similar al de Googlebot en cuanto a lo que admite y no admite.
• Motores de búsqueda como Yahoo, DuckDuckGo y Ecosia están basados o usan Bing, lo que lo hace más influyente de lo que muchos creen.

Comentarios finales sobre la emulación de Googlebot

¡Ahora ya tienes tu propio emulador de Googlebot! Como ves, esta configuración es una de las formas más fáciles y rápidas de ver páginas web como lo hace el rastreador. Lo mejor de todo es que es gratis si ya tienes un dispositivo de escritorio capaz de instalar Chrome o Canary.

Mientras que otras herramientas como Vision API (para imágenes) y Natural Language API de Google ofrecen información valiosa, un navegador de Googlebot simplifica las auditorías técnicas de sitios web, en especial de aquellos que dependen del renderizado del lado del cliente.

Texto traducido y adaptado de: How to Use Chrome to View a Website as Googlebot

¿Estás interesado en posicionarte orgánicamente en Google? En Capybara SEO podemos ayudarte con diferentes estrategias para impulsar tu visibilidad en la web, aumentar el tráfico de tu sitio y mejorar tu ranking en los resultados de búsqueda. ¡Contáctanos ahora y lleva tu estrategia de SEO al siguiente nivel!