果你因为Google安全浏览将你的网站或SaaS列入黑名单而惊慌失措地来到这里,请跳到前面描述如何处理这种情况的部分。在Hacker News评论页面上也有很多非常有趣的评论
在过去的日子里,当谷歌(或谷歌的任何调教不佳的人工智能)决定要杀死你的业务时,它通常会采取拒绝访问其多个服务中的一个,就是这样。你可能已经听说过这些恐怖故事。

我发誓我已经检查了常见问题!

它们都符合同一个模式。首先,一个企业,选择使用谷歌的服务,使其生存完全依赖于这些服务。第二,谷歌作为自动化的庞然大物,做着自己的事情:它不断地微微调整自己屁股在其星球大小的真皮扶手椅上的位置,并且,在这个过程中,在没有真正注意到的情况下,粉碎了无数(相对)蚂蚁大小的企业。第三,也是最后,蚂蚁大小的企业拼命地想通知谷歌他们被压垮了,但他们只能接触到一个自动建议箱。
有时候,蚂蚁大小的CEO认识谷歌的高层,因为他们是大学同学,或者CTO写了一篇蚂蚁大小的Medium帖子,不知怎么就上了Hacker News丘的首页。然后,谷歌注意到了蚂蚁大小的问题,有时会认为这个问题值得解决,通常是因为担心蚂蚁革命可能带来的监管影响。
出于这个原因,传统的蚂蚁大小智慧决定,如果可能,你不应该建立你的业务过度依赖谷歌的服务。而如果你能避免依赖谷歌的多个围墙花园来生存,你可能就会没事。

 

阳光下的新事物

在今天的 “互联网今非昔比 “节目中,我们来谈谈谷歌不需要你以任何(刻意)方式使用谷歌服务,就能在不经意间碾压你的创业公司的一个全新渠道。
你知道吗,你的网站的域名有可能被谷歌无缘无故地列入黑名单,而且这个黑名单不仅在谷歌Chrome浏览器中直接执行,而且还被其他一些软件和硬件厂商执行。你知道吗,这些其他厂商同步这个名单的时间和解释都是千变万化的,这种方式会让任何问题的修复都变得非常紧张和不可预知?你是否知道,谷歌审查一份黑名单报告的ETA,无论多么无效,都是以周为单位的?

现在这是您的网站或SaaS应用程序

此黑名单“功能”称为Google安全浏览,此处的图像描述了您的用户将看到的一个微妙消息,即您的某个域是否恰巧在安全浏览数据库中被标记。警告文本的范围从“前面的欺骗性站点”到“前面的站点包含恶意软件”(请参阅此处,以获取完整列表),但是它们均具有同样令人恐惧的红色背景设计,并且人们无法使用边界线UI来跳过警告并使用网站。

第一次遇到此问题时,我们从大量客户报告中得知了这一点,这些客户报告说他们在尝试使用我们的SaaS时看到红色警告页面。第二次,我们作了更好的准备,因此有一些空闲时间写这篇文章。

就上下文而言,InvGate(我们的公司)是一个IT部门的SaaS平台,它在AWS上运行,拥有1000多家SME和企业客户,为数百万最终用户提供服务。这意味着IT团队可以使用我们的产品来管理他们自己用户的问题和请求。您可以想象,当IT经理的IT票务系统突然开始向其最终用户显示这种不祥的安全警告时,IT经理会做出令人愉悦的反应。

当我们初次遇到此问题时,我们疯狂地试图了解正在发生的事情,并了解Google安全浏览(即现在的GSB)是如何工作的,而我们的技术支持团队则试图跟上报告该问题的客户。我们很快意识到用于服务静态资产(CSS,Javascript和其他媒体)的Amazon Cloudfront CDN URL已被标记,这导致整个应用程序因使用该特定CDN的客户实例而失败。对据称受影响的系统进行的快速检查显示,一切看起来都很正常。

当我们的DevOps团队处于完全紧急模式下以设置新的CDN并准备将客户转移到新域时,我发现Google的文档声称GSB提供了有关为何网​​站在Google搜索中被标记的更多解释违规站点的控制台(从现在开始为GSC)。我不会为您带来任何细节,但是为了访问此信息,您必须声明GSC中站点的所有权,这要求您设置自定义DNS记录或将一些文件上传到有问题的域的根目录下。我们争先恐后地做到了这一点,并在20分钟后设法找到了有关我们网站的报告。

该报告如下所示:

那不是特别有用。

该报告还包含一个“请求审阅”按钮,由于没有有关所谓问题的任何信息,因此我迅速单击该按钮而未对该站点进行任何实际操作。尽管有文档表明示例性URL始终由Google提供,以帮助网站站长识别问题,但我还是提交了一条评论,指出没有列出有问题的URL。

大约一个小时后,在我们完成将客户移出该CDN之前,我们已从GSB数据库中清除了我们的网站。我收到一封自动发送的电子邮件,确认在此之后约2小时,审查已成功完成。首先,没有给出引起问题的原因的说明。

之后发生了什么

在此事件发生后的一周内,尽管已从安全浏览黑名单中清除了我们的URL,但我们仍然收到零星的报告,称公司无法访问我们的系统。

Google安全浏览为商业和非商业软件开发人员提供了两种不同的API,以在其产品中使用黑名单。特别是,我们发现至少有一些使用Firefox的客户也遇到了问题,并且来自客户的防病毒/反恶意软件和网络范围内的安全设备也正在标记我们的网站,并阻止用户在问题出现后的许多天访问它解决了

我们继续将所有客户从以前列入黑名单的CDN转移到新客户,因此该问题得到了彻底解决。我们从来没有适当地确定问题的原因,但是我们将其归因于Google总部对AI的不满。

如何防止Google安全浏览标记您的网站

我的2美分:如果您使用具有可用性SLA的SaaS业务进行运营,则无特殊原因被Google安全浏览标记为业务连续性的真正风险。

令人遗憾的是,鉴于标记和查看网站的机制太过模糊了,我认为您无法完全防止这种情况的发生。但是,您当然可以设计您的应用程序和流程,以最大程度地减少发生这种情况的可能性,降低实际被标记的影响,并最大程度地减少在出现问题时规避该问题所需的时间。

这是我们正在采取的步骤,因此我建议:

  • 明智的做法是,不要将所有鸡蛋放在一个篮子里。GSB似乎标记了整个域或子域。因此,将您的应用程序分布在多个域中是一个好主意,因为这将减少标记任何单个域的影响。例如:针对您的网站的company.com,针对您的应用程序的app.company.net,针对欧洲客户的eucdn.company.net,针对美国东海岸客户的useastcdn.company.net等。
  • 不要在您的主域中托管任何客户生成的数据。我在研究此问题时发现的许多列入黑名单的情况都是由SaaS客户在不知不觉中将恶意文件上传到服务器引起的。这些文件对系统本身无害,但是它们的存在会导致整个域都被列入黑名单。您的用户上传到您的应用程序的所有内容均应托管在您的主域之外。例如:使用companyusercontent.com存储客户上传的文件
  • 在Google Search Console中主动声明对您所有生产域的所有权。如果这样做,不会阻止您的网站被列入黑名单,但是您会在发生这种情况时收到一封电子邮件,这将使您对问题迅速做出反应。这需要花一些时间,这是您真正处理影响客户的此类事件的宝贵时间。
  • 如果需要,请准备好跳转域。这是最困难的事情,但这是防止被列入黑名单的唯一有效工具:对系统进行工程设计,以便可以轻松修改其引用的服务域名(通过使用脚本或编排工具来执行此更改),甚至可能可用的备用名称和备用名称。例如,让eucdn.company2.net成为eucdn.company.net的CNAME,并且如果第一个域被阻止,请更新应用程序的配置,以使用工具从备用域中加载其资产。

如果您的SaaS应用或网站被Google安全浏览列入黑名单该怎么办

这是我的建议:

  • 如果您可以轻松,快速地将应用切换到其他域名,那么唯一可以可靠,快速且伪确定地解决此事件的方法。如果可能,请执行此操作。你完成了。
  • 失败的是,一旦您确定了被阻止的域,请查看Google Search Console上显示的报告。如果您在此之前尚未声明拥有该域的所有权,则必须立即进行操作,这将需要一段时间。
  • 如果您的网站实际上已被黑客入侵,请解决此问题(即删除有问题的内容或被黑客入侵的网页),然后请求进行安全审查。如果您的网站未被黑客入侵或“安全浏览”报告不合理,则无论如何都应要求进行安全审查,并声明该报告不完整。
  • 然后,假设停机时间对您的系统或业务至关重要,而不必费神地等待,而是继续着手转移到新域名。审查可能需要数周时间。

顶上的樱桃🍒

在第一次事件发生数月后的第二次,我们收到了来自Search Console的电子邮件,警告我们我们的一个域已被标记。作为G Suite域管理员,这份初始电子邮件报告几小时后,我收到了另一封有趣的电子邮件,您可以在下面阅读。

sc-noreply@google.com中的“ sc”代表“搜索控制台”

让我来总结一下是什么,因为很震撼。这封邮件指的是搜索控制台的黑名单提醒邮件。这第二封邮件说的是,G Suite的自动钓鱼邮件过滤器认为Google Search Console关于我们的域名被列入黑名单的邮件是假的。这肯定不是,因为我们收到邮件的时候,我们的域名确实已经被列入黑名单了。所以谷歌连自己关于钓鱼的邮件提醒是否是钓鱼都无法判断。(LOL? 🤔)

关于互联网未来的一些令人不寒而栗的最后想法

从事科技工作的人都非常清楚,大企业科技巨头在很大程度上是互联网的守门人。但我倾向于用一种松散的、隐喻的方式来解释。这篇文章中描述的安全浏览事件非常清楚地表明,谷歌从字面上控制了谁可以访问你的网站,无论你在哪里,如何操作。由于Chrome浏览器拥有70%左右的市场份额,而Firefox和Safari都在一定程度上使用了GSB数据库,谷歌只要轻轻一点,就可以单枪匹马地让互联网上的任何网站几乎无法访问。
这是一种非同一般的力量,也不适合谷歌 “人工智能会在它认为方便的时候和情况下审查你的问题 “的做法。

原文地址:https://gomox.medium.com/google-safe-browsing-can-kill-your-startup-7d73c474b98d