`
melin
  • 浏览: 564268 次
  • 性别: Icon_minigender_1
  • 来自: 合肥
社区版块
存档分类
最新评论
Rss 文章列表
StarFlow应用演示地址: http://helloflow.net 项目地址:http://code.google.com/p/starflow/ 通过申请,starflow可以提交到maven远程仓库! <dependency> <groupId>com.googlecode.starflow</groupId> <artifactId>starflow</artifactId> <version>0.7.1-SNAPSHOT</version> </dependen ...
大数据平台支持pyspark作业开发,为了方便python 代码编写,提供代码自动补全、语法检测、代码格式化功能,编辑器使用ACE,使用tornado 把这个三个功能封装成rest接口,给编辑器使用   #!/usr/bin/env python2 #coding=utf-8 import tornado.ioloop import tornado.web from tornado.escape import json_encode from pyspark.sql import SparkSession import jedi from tornado.options ...
Spark HiveServer2中使用jdbc客户端用户运行spark job   大致问题与这篇文章分析相同【[HiveServer2中使用jdbc客户端用户运行mapreduce](http://blog.javachen.com/2013/10/17/run-mapreduce-with-client-user-in-hive-server2.html)】,但因为是spark引擎,具体细节不同。spark hiveserver2 接收到链接请求,获取用户信息,会把用户信息存放到AccessControlContext中,后面很多地方获取调用UserGroupInformation. ...
如下sql代码离线计算指标,spark 直接执行 sql,每一个create table ... select 语句都是一个action,创建hive表,数据写入hdfs,下一个sql依赖表,需要从hdfs中重新读取数据,整个作业产生13 个action,与使用mapreduce引擎计算相比优势不是太明显,不能最大化发挥spark 迭代计算的优势。为了解决这个问题,有两种方案: 1. 在HDFS与计算引擎之间增加分布式缓存([Alluxio](http://www.alluxio.org/docs/master/cn/)),create table ... select产生的数据通过Alluxi ...
Both stop and PoisonPill will terminate the actor and stop the message queue. They will cause the actor to cease processing messages, send a stop call to all its children, wait for them to terminate, then call its postStop hook. All further messages are sent to the dead letters mailbox. The differenc ...

2015

    博客分类:
  • JAVA
scala akka 让并发和容错更容易:Akka示例教程(译文) A handful Akka techniques Akka at Conspire akka笔记 (同时包含很多最新的java文章) The Neophyte’s Guide to Scala Akka Tutorial with Code: Concurrency and Fault Tolerance Java Linkedin工程师是如何优化他们的Java代码的 ForkJoinPool VS ExecutorService 实例分析 Java Magic. Part 4: sun.misc.Unsafe

2014

    博客分类:
  • JAVA
收藏比较好的文章,记录一年学习的知识,持续更新... 1月份 最佳日志实践 Linux下高并发socket最大连接数所受的各种限制 优秀程序员不得不知道的20个位运算技巧 Socket.IO进阶 web安全实战 Guava学习笔记 Gradle学习系列 Inside Vert.x. Comparison with Node.js. 构建工具之 - Gradle一般使用常见问答 2月份 sanaulla java8 Java 8新特性探究 Java 8 新特性相关文章 Java 7 SDP netty引用计数对象 分布式系统的事务处理 Elasticsearch集群搭建 4月份
在大数据处理过程,为了方便监控,需要统计数据,少不了原子计数器。为了尽量优化性能,需要采用高效的原子计数器。在jdk8中,引入了LongAddr,非常适合多线程原子计数器。与AtomicLong做了一个测试,LongAdder在多线程环境中,原子自增长性能要好很多。 为了更加清楚的了解LongAddr原理。找到几篇不错的文章: http://minddotout.wordpress.com/2013/05/11/java-8-concurrency-longadder/ http://concurrencyfreaks.blogspot.com/2013/09/longadder-and-dcl ...
最近要做一个数据采集分析的系统,每五分钟采集6G数据,采集数据每一行为一条完整记录,对一条记录split处理。为了找到最优split方法,测试jdk、lang和guava split 字符串效率。 测试读取250m的文件,有100万行数据,测试数据对比: @AxisRange(min = 0) @BenchmarkMethodChart(filePrefix = "split-benchmark-barchart") public class SplitTest { @Rule public BenchmarkRule benchmarkRun = new B ...
详细安装步骤参考:http://blog.linezing.com/2013/01/how-to-install-and-deploy-storm-cluster 由于之前已经安装hbase,已经安装过zookeeper,省略安装zookeeper集群。系统自带python 2.6.5版本,不再安装python。一下记录在安装过程中,依赖包的解决! 一:安装ZMQ 2.1.7 1:用root安装util-linux-2.22.tar.gz cd /usr/local wget https://www.kernel.org/pub/linux/utils/util-linu ...
一:卸载redhat操作系统默认jdk 1:查找安装默认安装jdk    rpm -qa | grep java 2:删除jdk    rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.21.b17.el6.x86_64 二:安装oracle jdk 1:使用root账号安装 2:创建目录:/usr/java 3:下载jdk存放到/usr/java目录:jdk-6u33-linux-x64.bin 4:给安装文件添加执行权限:    chmod +x jdk-6u43-linux-x64.bin 5:执行jdk安装包    ./jdk-6u43-linux ...
     Java 工程在生产环境运行时,一般需要构建成一个jar,同时在运行时需要把依赖的jar添加到classpath中去,如果直接运行添加classpath很不方便,比较方便的是创建一个shell脚本。在公司项目中看到把工程代码和依赖jar包合并到一块,省去设置classpath的麻烦。但这样把项目jar依赖绑定死,被其它项目引入,容易造成jar依赖冲突,如果用maven管理java项目,导致提交到公司仓库jar过于庞大,同时也失去maven对jar依赖管理的作用。    为了方便java项目部署运行,这里为构建部署包定义一个固定格式:/java 项目   /lib    --存放所有依 ...
基于淘宝diamond改造的配置管理服务器,主要做了如下改造 1:重新设计了界面,基于bootstrap样式 2:重新重构了工程的pom.xml,更新jar 3:去掉了不必要的功能代码 4:项目编码改成了utf-8 5:数据库表config-info增加了字段username和description,用于控制登录用户只能操作自己的配置数据。 代码地址: https://github.com/libinsong/tp.diamond
之前文章中描述了怎么利用maven profile分dev、test、pro三种环境,为了方便test环境中部署最新代码,利用maven和shell,执行脚本完成代码从cvs的更新、构建、undeply、停止tomcat、deploy、启动tomcat过程。主要借助三个插件帮助我完成上面所有动作 1:maven scm plugin 从cvs更新代码 2:maven cargo plugin 执行undeply、停止tomcat、deploy、启动tomcat 3:mavaen antrun plugin, 如果cargo中配置jmx端口,jvm启动jmx。cargo:stop无法正常停止服务器 ...
用了很长行时间的birt,这篇文档对我很有指导意义,记录下来,:) http://www.springsource.org/BusinessIntelligenceWithSpringAndBIRT
Global site tag (gtag.js) - Google Analytics