`
文章列表

Phoenix常见用法

  1. Load Data into Phoenix Using our map-reduce based CSV loader for bigger data sets     http://phoenix.apache.org/bulk_dataload.html hadoop jar phoenix-<version>-client.jar org.apache.phoenix.mapreduce.CsvBulkLoadTool --table EXAMPLE --input /data/example.csv   Using psql.py to loa ...
http://blog.csdn.net/qq_26182553
NodeName Master     ZooKeeper RegionServer centos1       yes          yes             no centos2       backup    yes             yes centos3       no            yes             yes     1. config hbase 1.0 ~/.bashrc export HBASE_HOME=/usr/local/hbase export PATH=:$HBASE_HOME/bin scp ~/.bash ...
linux后台运行和关闭、查看后台任务   fg、bg、jobs、&、nohup、ctrl+z、ctrl+c 命令   一、& 加在一个命令的最后,可以把这个命令放到后台执行,如 watch -n 10 sh test.sh & #每10s在后台执行一次test.sh脚本     二、ctrl + z 可以将一个正在前台执行的命令放到后台,并且处于暂停状态。     三、jobs 查看当前有多少在后台运行的命令 jobs -l选项可显示所有任务的PID,jobs的状态可以是running, stopped, Terminated。 ...

Phoenix安装

 
1. download wget https://mirrors.tuna.tsinghua.edu.cn/apache/phoenix/apache-phoenix-4.11.0-HBase-1.2/bin/apache-phoenix-4.11.0-HBase-1.2-bin.tar.gz tar -zxvf  apache-phoenix-4.11.0-HBase-1.2-bin.tar.gz   2. copy phoenix-4.11.0-HBase-1.2-server.jar to /usr/local/hbase/lib cp phoenix-4.11.0-HBas ...
  相同点: 1. 都可以以分布式方式处理任务 2. 都可以负载均衡     不同点: 1. Dubbo处理任务是同步的,可以收到返回结果值。Kafka是异步的,不能返回结果值。 2. Kafka可以存储消息,可以从某个消息重新开始执行。如果任务执行速度较慢,消息可以缓存,不会阻塞。  
  股票期货数据数据计算特点: 1. 每只股票或期货账户有许多数据要计算而不涉及其它账户,比如净值、收益率、波动率、夏普值... 2. 账户量一般比较大,有并发处理需求。 3. 不需要Consumer运行完后向producer返回结果。     而Kafka刚好满足这些需求: 1. 当partition数量大于consumer数据时,可以动态添加多个consumer,起到负载均衡的作用   参见:http://oracle-api.iteye.com/admin/blogs/2374848 中的  consumer group 与 partition 2. 虽然多个Con ...
这个问题严格来说是肯定有的,kafka只能保证分区内的有序性。   下面是kafka作者Jay Kreps的blog中介绍kafka设计思想的一段话。 Each partition is a totally ordered log, but there is no global ordering between partitions (other than perhaps some wall-clock time ...
  参考: http://www.cnblogs.com/smartloli/p/4615908.html
采集层 主要可以使用Flume, Kafka两种技术。 Flume:Flume 是管道流方式,提供了很多的默认实现,让用户通过参数部署,及扩展API. Kafka:Kafka是一个可持久化的分布式的消息队列。   Kafka 是一个非常通用的系统。你可以有许多 ...
  char 人能识别的字符,在Java中用Unicode表示,占两个字节,可以表示中文。在jvm中,它的值是唯一的,可以用数字表示: char a1 ='周'; char a ='\u5468'; //Unicode char aa =0x5468; //十六进制 char aaa = 21608; //十进制 System.out.println(a1); System.out.println(a); System.out.println(aa); System.out.println(aaa); 输出: 周 周 周 周  打印所有char int u= ...
实现Runnable接口 new Thread(new Runnable(){ public void run(){ System.out.println("thread is running"); } }).start();   或继承Thread类 new Thread(){ public void run(){ System.out.println("thread is running"); } }.start();  
 在 java垃圾回收整理一文中,描述了jvm运行时刻内存的分配。其中有一个内存区域是jvm虚拟机栈,每一个线程运行时都有一个线程栈,线程栈保存了线程运行时候变量值信息。当线程访问某一个对象时候值的时候,首先通过对象的引用找到对应在堆内存的变量的值,然后把堆内存变量的具体值load到线程本地内存中,建立一个变量副本,之后线程就不再和对象在堆内存变量值有任何关系,而是直接修改副本变量的值,在修改完之后的某一个时刻(线程退出之前),自动把线程变量副本的值回写到对象在堆中变量。这样在堆中的对象的值就产生变化了。下面一幅图描述这些交互   例如假如线程1,线程2 在进行read,load 操作中 ...
  thread.sleep(int)  让线程进入休眠状态。如果在synchronized代码块或方法中执行sleep(int),线程并不会放弃对象的锁。   object.wait()  :让当前获得object对象锁的线程进入该对象的线程等待队列。也就是让线程解开这个对象的锁, 同时进入休眠状态。wait状态的线程可被object.notify()唤醒。   object.notify()  :从object对象的线程等待队列中随机唤醒一个线程。被唤醒的线程从object.wait()的位置继续往下执行。   object.notifyAll()  :从object对 ...
  项目目录结构:   pom.xml中添加: <build> <plugins> <plugin> <artifactId>maven-assembly-plugin</artifactId> <configuration> <descriptor>src/main/s/assembly/assembly.xml</descriptor> </con ...
Global site tag (gtag.js) - Google Analytics