2005年底，当在亚马逊工作的一位朋友邀请他去检查一个可以改变世界的秘密项目时，唐·阿尔瓦雷斯（Don Alvarez）只是另一位努力挣扎的新软件创业者。

Alvarez的初创公司FilmmakerLive正在为创意专业人士设计在线协作应用程序，当时面临着一个普遍的问题：存储。科技初创企业才刚刚开始从互联网时代的过剩中恢复过来，而购买昂贵的硬件对于初创企业来说是一个冒险的赌注。购买得太少，您的网站就会崩溃。买太多，你就破产了。对于创业公司的混乱生活，这是一个冒险的赌注。

他对自己可以从一家电子商务公司那里学习电影合作的知识表示怀疑，但是却接受了这位朋友的提议。

“鲁迪·瓦尔德兹（Rudy Valdez）令人震惊，”阿尔瓦雷斯（Alvarez）告诉《协议》。Valdez当时是AWS业务开发负责人，当时AWS仅提供少量基本服务。他让现任Mural工程总监的阿尔瓦雷斯（Alvarez）品尝了亚马逊的第一个也是最基础的产品：基于云的对象存储服务S3。

 

 

S3（即简单存储服务）在15年前的本周末首次亮相。“云”成为企业计算历史上最具破坏力的力量之一还需要很多年。亚马逊在2006年3月14日宣布S3时甚至没有使用该术语。但是，存储服务的推出立即解决了像阿尔瓦雷斯（Alvarez）这样的企业家遇到的一些非常棘手的问题，并将改变所有企业考虑购买信息技术的方式。

在接下来的几年中，像Pinterest，Airbnb和Stripe这样的初创企业涌向了AWS，而像Netflix这样的早期公司（当时是DVD邮寄业务）也投入了大笔资金来重新调整其互联网业务。

阿尔瓦雷斯说：“亚马逊以令人难以置信的低价和按需付费的价格为每个初创企业提供了无限的磁盘空间，但没有这样的东西。” “第二点是他们的API非常简单，以至于在使用未发布的，未发布的产品的前24小时内，我可以拿起它并在其中构建有用的东西。”

S3现在是AWS机器中至关重要的齿轮，去年它创造了超过450亿美元的收入。在过去的15年中，它在许多不同的方向上发展了，但在AWS的早期，却保留了由Amazon首席技术官Allan Vermeulen领导的团队制定的一套设计原则。

 

 

“我们知道（客户）想要做什么，” AWS Storage副总裁兼现任S3负责人Mai-Lan Tomsen Bukovec告诉Protocol。“但是我们也知道应用程序会不断发展，因为我们的客户具有令人难以置信的创新能力，而且他们在所有不同行业中所做的工作每年都会改变。”

Mai-Lan Tomsen Bukovec运行Amazon S3和AWS Storage。照片：Amazon Web Services 

增强灵活性

Vermeulen在2014年的一次采访中说： “当人们想到更大，更快的计算机时，他们会想到这一点。” 他说，但是在一段长期的平稳期之后，存储技术的发展有所不同，随后容量急剧增加：“这是驾驶我的特斯拉和飞行我的飞机之间的区别。”

S3是脱离现状的那些重大突破之一。对于像Alvarez这样的开发人员来说，这真是天赐的礼物，他们不必再为购买和购买昂贵的存储硬件而烦恼。

阿尔瓦雷斯说：“我们所获得的任何东西都无法像S3那样提供远程的服务。” “我觉得有人刚刚给了我糖果店的钥匙。”

像许多AWS一样，S3源自亚马逊构建和扩展Amazon.com的经验，该经验教训使S3学会了很多有关分布式计算的局限性和可能性的艰巨课程。

 

 

“该设计的强制功能是，单个Amazon S3分布式系统必须同时支持内部Amazon应用程序和任何应用程序的外部开发人员的需求。这意味着它必须足够快速，可靠地运行Amazon.com的网站，同时还要灵活足以使任何开发人员都可以将其用于任何数据存储需求。” AWS在2006年针对S3的原始发布新闻稿中说。

在云的早期，性能和可靠性是一个巨大的问题。当涉及到数据时，这些担忧尤其令人担忧，甚至在15年前，就将数据视为公司武器库中最重要的资产之一。

“当15年前我们推出S3时，S3拥有8种微服务，现在我们已经超过300种。” Tomsen Bukovec说，指的是当时新颖的软件开发实践，该实践将大块相互依赖的代码分解为较小的独立服务。

围绕微服务的构建使AWS可以分散S3的故障点，同时还创建了一个旨在确认分布式云服务有时会失败的系统，并且这种失败不应使整个系统瘫痪。

它还使公司可以在将来的增强上分层，而不必打扰系统的核心部分：AWS现在声称S3提供“ 11 9s”的可靠性，或令人惊讶的99.999999999％的正常运行时间，大大超过了自我管理的存储设备利润。（其他云存储供应商已符合此标准。）

S3最初是用作简单的Web元素（例如图像和视频）的握笔，当您加载页面时，网站运营商会将它们从AWS下拉到您的浏览器。随着时间的流逝，随着公司对云存储越来越满意，他们开始将各种数据放入S3。

 

 

从那时开始，事情开始变得有些混乱。

2008年在洛杉矶举行的Microsoft PDC活动上，Amazon Web Services的展位。照片：D。Begley / Flickr 

「堵漏水桶」

如果回顾过去几年中发生的任何安全事件，很多事件都可以归因于“漏桶”，这是指S3存储的核心单元。这些事件也发生在其他云提供商上，但是鉴于AWS的市场份额，这是该公司必须在许多场合处理的问题。

AWS在安全性的“共同责任”模型下运行：AWS将阻止任何人物理访问其服务器或渗透其网络，但希望客户在合理范围内保护其帐户。换句话说，如果有人从未锁定车辆的后座偷走了您的笔记本电脑，您就不能责怪出租汽车公司。

然而，一次又一次，云客户将属于他们自己客户的敏感数据留在了不受保护的存储桶中，该存储桶向任何可以找到它们的人开放，这比您想像的要容易。这只是AWS如何开发一些核心产品来满足他们所处的客户的一个例子，尤其是习惯于从私有内部网络访问他们所需的一切的后来到达的客户。

 

 

Tomsen Bukovec说：“在业务应用程序世界中，您不需要访问公司外部的权限，也不需要访问公司内部的一组用户的权限。” 但是很明显，AWS需要做更多的事情来帮助其客户自助，这导致了诸如Block Public Access之类的工具的开发，该工具可以锁定与公司账户相关联的所有存储桶。

Alvarez说，在AWS迅速发展的早期，外界也很清楚，亚马逊著名的“两个比萨团队”既有优势，也有劣势。

他说：“它使所有这些服务都能以任何竞争对手都无法比拟的速度向前发展。而且，在早期，这意味着一致性要差得多，并且难以解决和管理。” ，请注意，随着时间的流逝，体验有所改善。

随之而来的是其他安全工具，这些工具使客户可以扫描其帐户以从公共Internet进行未经授权的访问，或者为公司中具有不同角色的人员分配不同级别的访问权限。

Tomsen Bukovec谈到云的新来者时说：“我们看到客户进行迁移的地方是，他们经常有数百个存储桶，并且有很多（不同的）角色。” “当我们考虑构建什么来帮助客户保护其AWS资源的外围区域时，我们会考虑他们希望如何审计以及如何控制”对S3内部存储资源的访问。

 

 

Moderna在AWS的COVID-19疫苗开发中使用了AWS。照片：美国海军 

达到100万亿美元

S3首次面世后的几年里一直在发展，而且价格也便宜了很多：当AWS于2012年召开第一次重要的re：Invent开发者大会时，那一周的主要公告之一是24％将S3存储价格降低了28％，这是该公司在此之前进行的第24次降价。

正如AWS存储服务公司当时的副总裁Alyssa Henry在2012年的一次主题演讲中解释的那样，之所以可以进行这些降价，是因为AWS能够即时升级基础的S3服务。

S3最初旨在存储200亿个对象，但是它的增长速度超出了所有人的预期，第一年就达到了90亿个对象。该公司在升级基础存储服务时会考虑更多容量，而不会中断原始S3客户。到2012年，它已扩展到1万亿个存储对象，到2020年已扩展到100万亿个对象。

“真正有趣的是，客户无需做任何事情：您不必出门购买下一个升级产品-Amazon S3 v2；您不必自己进行迁移；您就已经掌握了一切现在，它只是行之有效的，事情就变得更好了。”现任执行副总裁兼Square卖方部门负责人的亨利在2012年活动上说。“这是云与传统IT的差异之一。”

 

 

就在去年，AWS在整个S3中引入了强大的一致性之后，类似的升级也开始了。

一致性是一种数据存储概念，它在首次显示时可能会使您的大脑感到不舒服。旧的存储系统，如原来的S3设计围绕着“最终一致性”，这意味着存储服务并不总是能够告诉你马上，如果新的数据块已经落户到其指定的存储桶，但它会赶上不久就起来。

但是，由于现代应用程序的运行速度大大提高，因此，对存储服务进行查询的所有内容实际上都需要知道要在预期级别执行的确切的可用数据的最新列表。因此，在过去的几年中，AWS围绕强大的一致性原则重建了S3，其他云提供商也提供了这些原则，但能够针对较小的用户群进行推广。

Tomsen Bukovec说：“这是一个非常复杂的工程问题。这是re：Invent 2020中杰出的公告之一，它吸引了更多的AWS用户。

在进入新的十年之际，Tomsen Bukovec和她的团队正在寻找方法，以使在S3数据之上进行机器学习变得更加容易，并提高数据湖的性能和功能，从而可以对内部数据进行细粒度的分析。和AWS用户之间的客户数据。

实际上，Tomsen Bukovec说，用于COVID-19的Moderna疫苗是在S3数据湖的帮助下开发的。

 

 

“我们拥有这种独特的观点，我们建立了超过15年的使用经验，可以在其中确定客户正在尝试做什么，以及如何以这种简单，成本合理的方式来构建[S3]，有效，安全，耐用，可靠和高性能的存储，”她说。