oracle_api的博客
oracle_api · 共 291 篇文章
Phoenix常见用法
1. Load Data into Phoenix Using our map-reduce based CSV loader for bigger data sets http://phoenix.apache.org/bulk_dataload.html hadoop jar phoenix-<version>-client.jar org.apache.phoenix.mapreduce.CsvBulkLoadTool --table EXAMPLE --input /data/example.csv Using psql.py to load .csv file http://pho…
2017-07-12 15:52 · Phoenix · 评论(0)
hbase-- Fully Distributed Install
NodeName Master ZooKeeper RegionServer centos1 yes yes no centos2 backup yes yes centos3 no yes yes 1. config hbase 1.0 ~/.bashrc export HBASE_HOME=/usr/local/hbase export PATH=:$HBASE_HOME/bin scp ~/.bashrc root@centos2:~/.bashrc scp ~/.bashrc root@centos3:~/.bashrc source ~/.bashrc 1.1 hbase-site…
2017-07-11 19:33 · Hbase · 评论(0)
linux后台运行和关闭、查看后台任务
linux后台运行和关闭、查看后台任务 fg、bg、jobs、&、nohup、ctrl+z、ctrl+c 命令 一、& 加在一个命令的最后,可以把这个命令放到后台执行,如 watch -n 10 sh test.sh & #每10s在后台执行一次test.sh脚本 二、ctrl + z 可以将一个正在前台执行的命令放到后台,并且处于暂停状态。 三、jobs 查看当前有多少在后台运行的命令 jobs -l选项可显示所有任务的PID,jobs的状态可以是running, stopped, Terminated。但是如果任务被终止了(kill),shell 从当前的shell环境已知的列表中删除任…
2017-07-11 19:18 · Linux · 评论(0)
Phoenix安装
1. download wget https://mirrors.tuna.tsinghua.edu.cn/apache/phoenix/apache-phoenix-4.11.0-HBase-1.2/bin/apache-phoenix-4.11.0-HBase-1.2-bin.tar.gz tar -zxvf apache-phoenix-4.11.0-HBase-1.2-bin.tar.gz 2. copy phoenix-4.11.0-HBase-1.2-server.jar to /usr/local/hbase/lib cp phoenix-4.11.0-HBase-1.2-se…
2017-07-11 18:33 · Phoenix · 评论(0)
Dubbo与Kafka对比
相同点: 1. 都可以以分布式方式处理任务 2. 都可以负载均衡 不同点: 1. Dubbo处理任务是同步的,可以收到返回结果值。Kafka是异步的,不能返回结果值。 2. Kafka可以存储消息,可以从某个消息重新开始执行。如果任务执行速度较慢,消息可以缓存,不会阻塞。
Kafka应用--金融行业分布式数据计算
股票期货数据数据计算特点: 1. 每只股票或期货账户有许多数据要计算而不涉及其它账户,比如净值、收益率、波动率、夏普值... 2. 账户量一般比较大,有并发处理需求。 3. 不需要Consumer运行完后向producer返回结果。 而Kafka刚好满足这些需求: 1. 当partition数量大于consumer数据时,可以动态添加多个consumer,起到负载均衡的作用 参见:http://oracle-api.iteye.com/admin/blogs/2374848 中的 consumer group 与 partition 2. 虽然多个Consumer同时消费一个Group无法保…
2017-07-10 15:19 · Kafka · 评论(0)
kafka的topic多分区的情况,如何保证跨区的消息消费的顺序性
这个问题严格来说是肯定有的,kafka只能保证分区内的有序性。 下面是kafka作者Jay Kreps的blog中介绍kafka设计思想的一段话。 Each partition is a totally ordered log, but there is no global ordering between partitions (other than perhaps some wall-clock time you might include in your messages). The assignment of the messages to a particular partitio…
2017-07-09 16:49 · Kafka · 评论(0)
将Flume作为Kafka的Consumer
参考: http://www.cnblogs.com/smartloli/p/4615908.html
Kafka 与 Flume 如何选择
采集层 主要可以使用Flume, Kafka两种技术。 Flume:Flume 是管道流方式,提供了很多的默认实现,让用户通过参数部署,及扩展API. Kafka:Kafka是一个可持久化的分布式的消息队列。 Kafka 是一个非常通用的系统。你可以有许多生产者和很多的消费者共享多个主题Topics。相比之下,Flume是一个专用工具被设计为旨在往HDFS,HBase发送数据。它对HDFS有特殊的优化,并且集成了Hadoop的安全特性。所以,Cloudera 建议如果数据被多个系统消费的话,使用kafka;如果数据被设计给Hadoop使用,使用Flume。 正如你们所知Flume内置很多的s…
Java中的byte char String 编码 解码
char 人能识别的字符,在Java中用Unicode表示,占两个字节,可以表示中文。在jvm中,它的值是唯一的,可以用数字表示: char a1 ='周'; char a ='\u5468'; //Unicode char aa =0x5468; //十六进制 char aaa = 21608; //十进制 System.out.println(a1); System.out.println(a); System.out.println(aa); System.out.println(aaa); 输出: 周 周 周 周 打印所有char int u=0; for(int i=0; i<=0…
2017-07-03 14:58 · Java · 评论(0)
java多线程 用匿名内部类创建多线程
实现Runnable接口 new Thread(new Runnable(){ public void run(){ System.out.println("thread is running"); } }).start(); 或继承Thread类 new Thread(){ public void run(){ System.out.println("thread is running"); } }.start();
2017-07-02 17:06 · Java · 评论(0)
java多线程 用java内存结构解释多线程问题
在 java垃圾回收整理一文中,描述了jvm运行时刻内存的分配。其中有一个内存区域是jvm虚拟机栈,每一个线程运行时都有一个线程栈,线程栈保存了线程运行时候变量值信息。当线程访问某一个对象时候值的时候,首先通过对象的引用找到对应在堆内存的变量的值,然后把堆内存变量的具体值load到线程本地内存中,建立一个变量副本,之后线程就不再和对象在堆内存变量值有任何关系,而是直接修改副本变量的值,在修改完之后的某一个时刻(线程退出之前),自动把线程变量副本的值回写到对象在堆中变量。这样在堆中的对象的值就产生变化了。下面一幅图描述这些交互 例如假如线程1,线程2 在进行read,load 操作中,发现主内…
2017-07-02 14:57 · Java · 评论(0)
Java多线程-线程状态及方法的使用
thread.sleep(int) 让线程进入休眠状态。如果在synchronized代码块或方法中执行sleep(int),线程并不会放弃对象的锁。 object.wait() :让当前获得object对象锁的线程进入该对象的线程等待队列。也就是让线程解开这个对象的锁, 同时进入休眠状态。wait状态的线程可被object.notify()唤醒。 object.notify() :从object对象的线程等待队列中随机唤醒一个线程。被唤醒的线程从object.wait()的位置继续往下执行。 object.notifyAll() :从object对象的线程等待队列中唤醒所有线程。 生产者和…
2017-06-30 17:00 · Java · 评论(0)
用maven打包tar.gz文件
项目目录结构: pom.xml中添加: <build> <plugins> <plugin> <artifactId>maven-assembly-plugin</artifactId> <configuration> <descriptor>src/main/s/assembly/assembly.xml</descriptor> </configuration> <executions> <execution> <id>make-assembly</id> <phase>package</phase> <goals> <goal>single</goal> </goals> </exec…