Cómo corregir fácilmente el error 502 en Screaming Frog.

Qué significa el error 502 Bad Gateway.

El error 502 es una respuesta HTTP que significa "el servidor recibió una respuesta inválida de un servidor upstream". En cristiano: alguien por el camino bloqueó la petición. Puede ser el firewall, un CDN, un WAF (Web Application Firewall), Cloudflare, o el propio servidor que decidió que tu IP es sospechosa.

Por qué te lo da Screaming Frog específicamente.

Las razones más comunes:

• El User-Agent de Screaming Frog está marcado como bot. Algunos sistemas de seguridad lo bloquean por defecto.
• Velocidad de crawling demasiado alta. Screaming Frog crawlea muy rápido por defecto y el servidor lo interpreta como ataque.
• Cloudflare u otro CDN bloqueando. Si el sitio usa protección anti-bot, te capa.
• Rate limiting. El servidor permite X peticiones por minuto y al pasarte te bloquea.
• Tu IP está en blacklist temporal. Crawlings previos pueden haber dejado tu IP marcada.

Solución 1: cambiar User-Agent (la que arregla el 70% de casos).

Lo más rápido. Configuration → User-Agent → desplegable → cambia de "Screaming Frog SEO Spider" a:

• Chrome (Desktop) — emula un usuario normal.
• Googlebot (Smartphone) — emula a Google.

Reinicia el crawl. En el 70% de los casos, el 502 desaparece. Si crawleas tu propia web, ojo: usar User-Agent de Googlebot puede falsear cómo te rastrea Google realmente.

Solución 2: reducir velocidad de crawl.

Si el cambio de User-Agent no funciona, baja la velocidad. Configuration → Speed:

• Max Threads: baja de 5 (por defecto) a 2.
• Max URI/s: limita a 2-3 URLs por segundo.

Más lento pero menos detectable como bot. Si el sitio es pequeño, no notas la diferencia. Si es grande, vas a tardar más pero terminarás.

Solución 3: usar un proxy.

Si tu IP está marcada o el servidor te bloquea geográficamente, usa un proxy:

1. Configuration → Proxy.
2. Activa "Use Proxy".
3. Mete dirección y puerto del proxy (puedes usar servicios como Bright Data, Oxylabs o NordVPN).

Coste: los proxies de calidad son de pago. Solo merece la pena si vas a crawlear el sitio mucho o tienes problemas recurrentes.

Solución 4: pedir whitelist al cliente.

Si crawleas el sitio de un cliente o el tuyo propio donde tienes acceso, la solución más limpia es pedir al admin del servidor que añada tu IP a la whitelist.

Pasos:

1. Consigue tu IP pública (Google "cuál es mi IP").
2. Pide al admin que la añada al firewall/CDN/Cloudflare como IP permitida.
3. Reinicia crawl.

Esta es la solución definitiva si tienes acceso. Sin más bloqueos para siempre.

Solución 5: revisar Cloudflare / WAF.

Si el sitio usa Cloudflare (lo verás porque al hacer ping responde con IPs de Cloudflare), el bloqueo viene de ahí. Si tienes acceso al panel de Cloudflare del cliente:

1. Security → Bots → Bot Fight Mode: desactivar temporalmente.
2. Firewall Rules: revisar si hay regla bloqueando User-Agents bot.
3. Security Level: temporalmente a "Essentially Off" durante el crawl.

Importante: vuelve a activarlo todo después de terminar el crawl. Si no, dejas el sitio expuesto.

Un crawl bloqueado por 502 no es un bug — es una buena señal. Significa que el cliente tiene protección de bots razonablemente configurada. El problema solo lo tienes tú como SEO. Solucionarlo es trivial.

Conclusión.

El error 502 en Screaming Frog tiene 5 soluciones probadas. Ordena de rápida a profunda: cambiar User-Agent, bajar velocidad, usar proxy, pedir whitelist, ajustar Cloudflare/WAF.

En el 70-80% de casos, la solución 1 basta. Si no, baja velocidad. Si tampoco, contacta al admin del servidor. Si nada funciona y estás auditando un sitio que no es tuyo, considera que quizá no quieren que lo crawlees — respeta su decisión.