2017-04-14 10:38
高级大数据开发（spark实时流式计算）
岗位职责
1、理解线上业务和金融行业数据，设计重构实时数据处理引擎
2、响应实时数据处理需求，实时采集提取数据，实时动态呈现报表
3、参与业务分析、特征变量提取、数据挖掘建模等相关工作
4、负责实时大数据平台及实时风控相关模块的设计开发维护工作
任职要求：
1、精通Hadoop2、Spark/Streaming、Kafka、Redis、Flume、Presto
2、熟练Spark SQL、Hbase、Druid、Hive等使用
3、精通Java/Python语言中一种;
4、精通分布式并发编程
5、熟悉常规的机器学习算法：降维(PCA、SVD)、SVM、逻辑回归(Logistics Regression)、决策树(GBDT、RandomForest)、关联规则(Apriori、FP-Growth)、聚类(K-Means)等等优先
6、互联网公司3年以上实时数据处理、实时数据平台设计开发经验
