当网站有大量机器人或访问者同时访问

rosemardi692

当您检查网址时看到的状态代码是否与您不同资源是否下载了该页面的所有资源它是否会下载生成页面所需的所有特定于站点的和文件页面大小后续获取所有页面和资源的最大值和最小值并比较它们。如果您发现差异则可能无法完全下载所有资源或页面。向致敬我第一次听到这个巧妙的提示。我们还发现任何问题吗如果在我们的日志文件中没有持续获得秒但我们尝试时可以正常访问该页面那么和我们之间显然仍然存在一些差异。


这些差异可能是什么它会比我们爬得更多它显然是一个机器 英国 WhatsApp 号码数据 人而不是一个假装成机器人的人它会在一天中的不同时间爬行这意味着如果我们的网站进行了巧妙的机器人拦截它也许能够区分我们和。由于会给我们的网络服务器带来更大的压力因此它的行为可能会有所不同。时他们可能会采取某些措施来帮助保持网站在线。他们可能会打开更多的计算机来为网站提供支持这称为扩展他们还可能会尝试对请求大量页面的用户进行速率限制或提供缩减版本的页面。



服务器定期运行任务例如列表网站可能会在运行每日任务来清理所有旧列表这可能会影响服务器性能。弄清楚这些周期性效应会发生什么将是一件很繁琐的事情。您可能需要与后端开发人员交谈。根据您的技能水平您可能不知道到底从哪里开始讨论。一个有用的讨论结构通常是讨论请求如何通过技术堆栈然后查看我们上面讨论的边缘情况。服务器在高负载下会发生什么重要的计划任务什么时候发生进入此对话的两个有用信息根据日志中问题的规律性通常值得尝试重新创建问题方法是尝试使用与使用的速度强度相同的爬网程序抓取网站看看是否可以找到导致问题同样的问题。