博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
java8-模拟hadoop
阅读量:6510 次
发布时间:2019-06-24

本文共 1661 字,大约阅读时间需要 5 分钟。

hadoop的入门程序,java8也能实现

txt统计单词数量程序

@Testpublic void fileWordCount() throws IOException {    //特殊文件需要格式转换为txt    Files.readAllLines(Paths.get("D:\\jd.txt"), StandardCharsets.UTF_8).parallelStream()            //将多个流融合为一个            .flatMap(line -> Arrays.stream(line.trim().split("\\s")))            .filter(word -> word.length() > 0)            .map(word -> new AbstractMap.SimpleEntry<>(word, 1))            .collect(groupingBy(AbstractMap.SimpleEntry :: getKey, counting()))            .entrySet().forEach(System.out :: println);}

List统计单词数量程序

@Testpublic void listWordCount(){    List
stringList = Arrays.asList("a","b","c","a"); stringList.stream() .map(s -> new AbstractMap.SimpleEntry<>(s, 1)) .collect(groupingBy(AbstractMap.SimpleEntry :: getKey, counting())) .entrySet().stream() .forEach(System.out :: println); System.out.println("---------------------------------------------------"); //通过自定义reduce统计,其实counting()也使用的是reduce //记住:凡是在中间操作使用了map,接口定义都需要声明出来,直接使用lambda表达式会有1.无法读取method,2.类型检查不到 的问题 BinaryOperator
binaryOperator2 = Integer::sum; //排序的转换规则接口 ToIntFunction
sortMapFunction = (Map.Entry se) -> Integer.valueOf(se.getValue().toString()).intValue(); stringList .stream() .map(s -> new AbstractMap.SimpleEntry<>(s, 1)) .collect(groupingBy(AbstractMap.SimpleEntry::getKey, reducing(0, AbstractMap.SimpleEntry::getValue,binaryOperator2))) .entrySet() .stream() .sorted(Comparator.comparingInt(sortMapFunction)) .forEach(System.out::println);}

转载地址:http://ezdfo.baihongyu.com/

你可能感兴趣的文章
flask框架
查看>>
《疯狂Java讲义》学习笔记(十)异常处理
查看>>
ELK 5.x日志分析 (二) Elasticserach 5.2 安装
查看>>
一次奇怪的AP注册异常问题处理
查看>>
TableStore: 海量结构化数据分层存储方案
查看>>
Unity 4.x游戏开发技巧集锦(内部资料)
查看>>
自适应网页设计
查看>>
HTML5:理解head
查看>>
java SpringUtil获取bean
查看>>
赛门铁克开启“容灾即服务”时代
查看>>
复杂度归纳--小结
查看>>
PHP学习笔记 第八讲 Mysql.简介和创建新的数据库
查看>>
Mysql
查看>>
跨越企业的“中等收入陷阱”
查看>>
Android 开发者必知的开发资源
查看>>
luogu P1280 尼克的任务 序列DP
查看>>
sys.check_constraints
查看>>
眠眠interview Question
查看>>
RPC-client异步收发核心细节?
查看>>
#define WIN32_LEAN_AND_MEAN 的作用
查看>>