几乎所有在线业务都可能受到各种类型的爬虫流量的影响。这可能包括抓取内容或价格信息的爬虫、用欺骗手段增加广告收入的自动“点击”爬虫、购买限量供应商品及服务而使合法客户无法正常购买的“交易”爬虫等。此外，有时爬虫活动可能会对业务产生有益的影响，但对站点性能的影响则不然。因此，企业机构需要一种新的方式，这种方式不仅要能够识别所遇到的爬虫活动类型，而且要能够提供多种超越简单拦截的、妥善应对不同类型爬虫流量的最有效的技术。业内首创的Akamai Bot Manager将首次赋予客户这种能力。 业界领先的互联网零售商、美国汽车零部件有限公司（U.S Auto Parts Network, Inc.）已经从Akamai Bot Manager中获益。该公司的IT总监William Avellan评价称：“从许多方面来看，当公司进行在线销售时，爬虫活动是一种‘经营成本’，直到现在，也没有一种好的方法来帮助我们深入了解爬虫流量，并在此基础上做出真正明智的决策。而有了Bot Manager，我们便获得了足够的信息，使得我们能够解决长久以来面对的所有爬虫问题，包括内容窃取、价格信息爬取。我们甚至能够识别托管这些爬虫的IP传输运营商。” Akamai Bot Manager有别于其它解决方案的特性在于： •覆盖广泛的预定义爬虫特征码目录——凭借由全球最大的分布式计算平台之一所提供的前所未有的可见性，Akamai Bot Manager的爬虫特征码目录覆盖了15个合法的Web及商业服务类别，包含超过1300个预定义爬虫特征码，这使得快速识别常见爬虫流量变得更容易。 •可定制的爬虫特征码和类别——Akamai Bot Manager使得公司能够轻松创建自定义爬虫特征码和类别，这能反映其站点上新增的特有爬虫对其业务和IT架构产生的影响。 •实时检测未知爬虫——为帮助识别新的／之前未知的爬虫，Bot Manager提供了一套全面的实时检测方法，包括自动识别曾对其他Akamai客户进行Web剽窃的客户端。Akamai威胁研究团队随着爬虫环境的演变持续改进和更新Bot Manager的实时检测技术，从而为企业内部IT部门减少这方面的工作。 •制定灵活的策略以应对多种爬虫——为帮助公司更好地管理不同类型的爬虫流量，Bot Manager允许客户对每个自定义或预定义类别使用独特的管理策略。这使得客户能够更灵活地根据其特有情况量身定制爬虫管理策略。 •多样化策略和简单拦截——对于恶意爬虫，简单地拦截它们只是会提醒爬虫操作员保护措施已经部署到位，并触发爬虫演变以便更好地躲避检测。此外，简单的拦截处理可能影响能够给业务带来效益的合法爬虫，也会给业务性能带来不良影响，因此广泛拦截不是一个理想选择。通过提供各种管理技术，包括减慢或延迟爬虫流量、提供替换内容、重定向至备用源站或识别爬虫流量、允许客户独立采取措施等，Bot Manager旨在使客户能够缓解爬虫带来的负面影响而无需损害商业利益。 •细致入微的可见性和深度报告——Bot Manager提供两个报告，旨在帮助企业机构更好地了解影响其站点的爬虫流量。“爬虫活动”报告提供对企业机构爬虫流量各种特征的高级视图，包括爬虫类别、检测方法和最频繁访问URL。客户也可查看这些因素是如何随时间的推移而变化。“爬虫分析”报告提供对企业机构爬虫流量的更细致深入的视图，帮助他们更好地了解其爬虫流量正在做什么、来自哪里，以及确定不同类型爬虫的正确管理策略。企业机构可以通过10个不同的维度来查看爬虫流量，以及通过信息过滤器来进一步深入了解特定领域、查看取样流量日志。 •安全优化协助——使用Bot Manager的客户可以访问由Akamai安全专家提供的持续爬虫流量分析的关联服务。持续进行的客户爬虫流量分析、爬虫特征码和类别更新，以及爬虫管理策略推荐将使客户受益良多，且不会加重现有安全或IT人员的工作负担。 Akamai云安全解决方案高级副总裁兼总经理Stuart Scholly解释称：“Web上充斥着爬虫。目前，公司面临两个选择，要么拦截要么默默忍受。但是很遗憾，这两种选择都不理想。我们相信Bot Manager将改变这种局面。我们将给予客户能力和灵活性，使其可以根据业务目标，部署成功的爬虫管理策略。” (责任编辑：陈亮) |
