使用Storm实现实时大数据分析!
2013-01-12 19:10:27 来源:互联网 评论:0 点击:
随着数据体积的越来越大,实时处理成为了许多机构需要面对的首要挑战。Shruthi Kumar和Siddharth Patankar在Dr.Dobb’s上结合了汽车超速监视,为我们演示了使用Storm进行实时大数据分析。CSDN在此编译
- splitAndEmit(inputTupleList,collector);
- }
- }
- else if(frequencyChkOp.equals("!="))
- {
- if(!valueToCheck.equalsIgnoreCase(thresholdValue.toString()))
- {
- count.incrementAndGet();
- if(count.get() > frequency)
- splitAndEmit(inputTupleList,collector);
- }
- }
- else System.out.println("Operator not supported");
- }
- }
- else
- {
- if(frequencyChkOp.equals("=="))
- {
- if(valueToCheck.equalsIgnoreCase(thresholdValue.toString()))
- {
- count.incrementAndGet();
- if(count.get() > frequency)
- splitAndEmit(inputTupleList,collector);
- }
- }
- else if(frequencyChkOp.equals("!="))
- {
- if(!valueToCheck.equalsIgnoreCase(thresholdValue.toString()))
- {
- count.incrementAndGet();
- if(count.get() > frequency)
- splitAndEmit(inputTupleList,collector);
- }
- }
- }
- }
- else if(thresholdDataType.equalsIgnoreCase("int") || thresholdDataType.equalsIgnoreCase("double") || thresholdDataType.equalsIgnoreCase("float") || thresholdDataType.equalsIgnoreCase("long") || thresholdDataType.equalsIgnoreCase("short"))
- {
- String frequencyChkOp = thresholdInfo.getAction();
- if(timeWindow!=null)
- {
- long valueToCheck = Long.parseLong(inputTupleList.get(thresholdColNum-1).toString());
- long curTime = System.currentTimeMillis();
- long diffInMinutes = (curTime-startTime)/(1000);
- System.out.println("Difference in minutes="+diffInMinutes);
- if(diffInMinutes>=timeWindow)
- {
- if(frequencyChkOp.equals("<"))
- {
- if(valueToCheck < Double.parseDouble(thresholdValue.toString()))
- {
- count.incrementAndGet();
上一篇:网站统计中的数据收集原理及实现(二)
下一篇:大数据定义和十大应用案例
分享到:
收藏
评论排行
- ·Windows(Win7)下用Xming...(92)
- ·使用jmx client监控activemq(20)
- ·Hive查询OOM分析(14)
- ·复杂网络架构导致的诡异...(8)
- ·使用 OpenStack 实现云...(7)
- ·影响Java EE性能的十大问题(6)
- ·云计算平台管理的三大利...(6)
- ·Mysql数据库复制延时分析(5)
- ·OpenStack Nova开发与测...(4)
- ·LTPP一键安装包1.2 发布(4)
- ·Linux下系统或服务排障的...(4)
- ·PHP发布5.4.4 和 5.3.1...(4)
- ·RSYSLOG搭建集中日志管理服务(4)
- ·转换程序源码的编码格式[...(3)
- ·Linux 的木马程式 Wirenet 出现(3)
- ·Nginx 发布1.2.1稳定版...(3)
- ·zend framework文件读取漏洞分析(3)
- ·Percona Playback 0.3 development release(3)
- ·运维业务与CMDB集成关系一例(3)
- ·应该知道的Linux技巧(3)