60TB 数据量的作业从 Hive 迁移到 Spark 在 Facebook 的实践

  • 时间:
  • 浏览:1

Facebook 经常使用分析来进行数据驱动的决策。在过去的几年里,用户和产品都得到了增长,使得让让当我们当我们当我们 分析引擎中单个查询的数据量达到了数十TB。让让当我们当我们当我们 的某些批出理 分析不是基于 Hive 平台(Apache Hive 是 Facebook 在509年贡献给社区的)和 Corona( Facebook 内部人员的 MapReduce 实现)进行的。Facebook 还针对包括 Hive 在内的多个内部人员数据存储,继续增加了其 Presto 的 ANSI-SQL 查询的覆盖范围。Facebook 内部人员还支持某些类型的分析,如图计算、机器学习(Apache Giraph)和流出理 (如 Puma、Swift 和 Stylus)。

尽管 Facebook 提供的服务富含了分析领域的广泛领域,但让让当我们当我们当我们 仍在不断地与开源社区互动,以分享让让当我们当我们当我们 的经验,并向他应学习