Introduction
这个代写的作业是使用Hadoop来处理数据,搭建Hadoop平台,分析数据,编写对应的Map函数和Reduce函数来完成。
本次作业数据集略坑,完全就是原始数据,编码字符都不统一。
这个代写的作业是使用Hadoop来处理数据,搭建Hadoop平台,分析数据,编写对应的Map函数和Reduce函数来完成。
本次作业数据集略坑,完全就是原始数据,编码字符都不统一。
本次需要代写的作业要求实现文件系统的高级操作,如查看文件的大小、创建时间、修改时间、用户、用户组等等meta信息。
由于属于操作系统层面的作业,因此如果不熟悉Linux C下的编程以及操作系统的知识的话,是没法做的。
这次需要代写的是一个大数据的作业,需要在AWS上搭建Hadoop来进行计算。此外,数据集也非常大,也包含了脏数据需要处理。
编程程序的话,还是基本按照Hadoop的Map Reduce结构来写:Map清洗数据,Reduce汇总数据。
由于需要从三个方面对数据进行统计,因此需要实现三个Map Reduce程序。
这次作业是实现一个Database Management System的Design,用MySQL数据库即可。
由于是基础设计的作业,E-R图是必不可少的,设计方案还需要满足数据库的2NF, 3NF, BCNF, 4NF这四个范式。