大数据经典论文解读 从大数据论文入手，提升问题解决能力

你将获得

10+ 篇必读经典论文精讲

大数据系统底层知识学习路径

10 年大数据老兵的实战心法

工业级数据系统迭代方案

课程介绍

大数据领域，可以说是过去 20 年计算机工程界发展最迅速、产生影响最大的一个领域。很多看起来和“大数据”没有什么关系的开源系统，都是从“大数据”这个领域里培育出来的，比如说 Kubernetes。

那么，今天我们去研读“大数据”领域的经典论文，可以说是一件投入产出比很高的事情。通过学习大数据相关的论文，我们会对计算机工程的各个领域都有更加深刻的认知，这不仅仅是对于“大数据工程师”这样的职位有用，对于做各类后端开发和系统开发的工程师来说，都会有很大的帮助。

但是我们应该怎么学呢？在网上随便一搜，虽然也能找到不少论文被人翻译成了中文，但是往往也只能告诉你“是什么”，却没有办法让你理解“为什么”。这些翻译或者文章，常常给出的是“Bigtable 系统是一个稀疏的、分布式的排序好的 Map”，却让你没有办法让你理解为什么 Bigtable 是这样设计的。

所以这次，我们邀请了极客时间《深入浅出计算机组成原理》课程的作者徐文浩老师，通过他十多年研读论文、使用各种开源框架解决大数据问题的经验，带你梳理整个大数据系统的发展脉络，为你分析在整个领域的系统不断往前迭代的过程中，所遇到的具体场景下的问题，还会深入解读其中重要的设计决策背后，能够联系到的计算机底层原理。

这样一来，通过课程内容知识的讲解，你就能够把论文和论文之间联系起来，把论文和具体技术场景联系起来，把论文和计算机原理的底层知识点联系起来。更进一步，你会真正理解 Why，而不是只知道 What。

课程目录

01丨什么是大数据：从GFS到Dataflow，12年大数据生态演化图.pdf

02丨学习方法：建立你的大数据知识网络.pdf

03丨TheGoogleFileSystem（一）：Master的三个身份.pdf

04丨TheGoogleFileSystem（二）：如何应对网络瓶颈？.pdf

05丨TheGoogleFileSystem（三）：多写几次也没关系.pdf

06丨MapReduce（一）：源起Unix的设计思想.pdf

07丨MapReduce（二）：不怕失败的计算框架.pdf

08丨Bigtable（一）：错失百亿的Friendster.pdf

09丨Bigtable（二）：不认识“主人”的分布式架构.pdf

10丨Bigtable（三）：SSTable存储引擎详解.pdf

11丨通过Thrift序列化：我们要预知未来才能向后兼容吗？.pdf

12丨分布式锁Chubby（一）：交易之前先签合同.pdf

13丨分布式锁Chubby（二）：众口铄金的真相.pdf

14丨分布式锁Chubby（三）：移形换影保障高可用.pdf

15丨Hive：来来去去的DSL，永生不死的SQL.pdf

16丨从Dremel到Parquet（一）：深入剖析列式存储.pdf

17丨从Dremel到Parquet（二）：他山之石的MPP数据库.pdf

18丨Spark：别忘了内存比磁盘快多少.pdf

19丨Megastore（一）：全国各地都能写入的数据库.pdf

20丨Megastore（二）：把Bigtable玩出花来.pdf

21丨Megastore（三）：让Paxos跨越“国界”.pdf

22丨Spanner（上）：“重写”Bigtable和Megastore.pdf

23丨Spanner（二）：时间的悖论.pdf

24丨Spanner（三）：严格串行化的分布式系统.pdf

25丨从S4到Storm（一）：当分布式遇上实时计算.pdf

26丨从S4到Storm（二）：位运算是个好东西.pdf

27丨Kafka（一）：消息队列的新标准.pdf

28丨Kafka（二）：从Lambda到Kappa，流批一体计算的起源.pdf

29丨Dataflow（一）：正确性、容错和时间窗口.pdf

30丨Dataflow（二）：MillWheel，一个早期实现.pdf

31丨Dataflow（三）：一个统一的编程模型.pdf

32丨Raft（一）：不会背叛的信使.pdf

33丨Raft（二）：服务器增减的“自举”实现.pdf

34丨Borg（一）：当电力成为成本瓶颈.pdf

35丨Borg（二）：互不“信任”的调度系统.pdf

36丨从Omega到Kubernetes：哺育云原生的开源项目.pdf

37丨当数据遇上AI，Twitter的数据挖掘实战（一）.pdf

38丨当数据遇上AI，Twitter的数据挖掘实战（二）.pdf

39丨十年一梦，一起来看Facebook的数据仓库变迁（一）.pdf

40丨十年一梦，一起来看Facebook的数据仓库变迁（二）.pdf

复习课（八）丨ResilientDistributedDatasets.pdf

复习课（二）丨MapReduce.pdf

复习课（九）丨Megastore.pdf

复习课（六）丨Hive.pdf

复习课（七）丨Dremel.pdf

复习课（三）丨Bigtable.pdf

复习课（十）丨Spanner.pdf

复习课（四）丨Thrift.pdf

复习课（五）丨Chubby.pdf

复习课（一）丨TheGoogleFileSystem.pdf

加餐1丨选择和努力同样重要：聊聊如何读论文和选论文.pdf

加餐2丨设置你的学习“母题”：如何选择阅读材料？.pdf

加餐3丨我该使用什么样的大数据系统？.pdf

结束语丨长风破浪会有时，直挂云帆济沧海.pdf

开篇词丨读论文是成为优秀工程师的成年礼.pdf

用户故事丨陈煌：唯有自强不息，方能屹立不倒.pdf

用户故事丨核桃：95后的技术成长之路.pdf

用户故事丨黄涛：水滴石穿、坚持不懈，必能有所精进.pdf

用户故事丨许灵：不抛弃不放弃.pdf