发表于   |   分类于

Introduction

Task3是之前的大数据作业的最后一次，这次作业就全是用Spark来对数据做处理了。
Spark一个比较麻烦的地方是，虽然用Scala编程比Java编程效率高，但是Scala的语言学习难度比Java大。

阅读全文 »

发表于   |   分类于

Introduction

大数据的一个作业，要求使用MapReduce, Hive和Spark来对大数据进行处理。
工作量主要是体现在环境的搭建，时间主要是花在数据的导入上面，此外代码的调试也是花时间的一个地方。
Task1涉及到MapReduce以及Hive的编程。

阅读全文 »

发表于   |   分类于

Introduction

这个PostgreSQL的Web应用程序算是Database System这门课里面比较坑的一个作业了。Start code提供的Web框架是基于Python编写的，Database要求用PostgreSQL。由于Python没有比较好用的PostgreSQL的lib，很多底层的DB操作都得自己实现。相比PHP+MySQL的传统架构复杂了不少。
由于直接就是第三次作业，还得把前两次的要求和代码重新看一遍，随手修掉的bug都有一大堆。

阅读全文 »