大数据面试题：常见的大数据面试题（二）

数据时代，许多工作都要依靠海量的数据，尤其是IT行业，那么做大数据工程师需要掌握哪些呢？以下就是四川优就业的小编为大家整理的一些大数据面试题：

1、怎么解决kafka的数据丢失

2、fsimage和edit的区别?

3、列举几个配置文件优化?

4、datanode 首次加入 cluster 的时候，如果 log 报告不兼容文件版本，那需要namenode 执行格式化操作，这样处理的原因是?

5、MapReduce 中排序发生在哪几个阶段?这些排序是否可以避免?为什么?

6、hadoop的优化?

7、采集nginx产生的日志，日志的格式为user ip time url htmlId 每天产生的文件的数据量上亿条，请设计方案把数据保存到HDFS上，并提供一下实时查询的功能(响应时间小于3s)

8、有 10 个文件，每个文件 1G，每个文件的每一行存放的都是用户的 query，每个文件的query 都可能重复。要求你按照 query 的频度排序。 还是典型的 TOP K 算法，

9、在 2.5 亿个整数中找出不重复的整数，注，内存不足以容纳这 2.5 亿个整数。

10、腾讯面试题：给 40 亿个不重复的 unsigned int 的整数，没排过序的，然后再给一个数，如何快速判断这个数是否在那 40 亿个数当中?

关注微信：四川优就业(ID：iscujiuye)

回复“简历”，即可领取

【1000份简历模板】

回复“安装包”，即可领取

【AI、DW、PS、AX、C4D等破解版软件】

回复“电子书”，即可领取

【100本图书资源】

回复“录屏神器”，即可领取

【免费屏幕截图录制软件】

回复“146”，即可领取

四川优就业，中公教育旗下IT培训品牌，致力于培养面向互联网领域的高端人才，以学员就业为目的，优质就业为宗旨，是一家集互联网营销、UI/UE交互设计、全栈工程师、Java工程师、Python+人工智能、Unity游戏开发、软件测试等为一体的IT培训机构。

精彩活动推荐：

互联网营销、Java免费公开课火热抢座中!预约点击此条链接