HBase实战(1)：数据导入方式

Configuration config = HBaseConfiguration.create(); 
// 配置hbase.zookeeper.quorum: 后接zookeeper集群的机器列表 
config.set("hbase.zookeeper.quorum", "tw-node109,tw-node110,tw-node111"); 
// 配置hbase.zookeeper.property.clientPort: zookeeper集群的服务端口 
config.set("hbase.zookeeper.property.clientPort", "2181"); 
  
HTable htable = null; 
try { 
　　// 配置hbase的具体表名 
　　htable = new HTable(config, "hbase_table"); 
　　// 设置rowkey的值 
　　Put put = new Put(Bytes.toBytes("rowkey:1001")); 
　　// 设置family:qualifier:value 
　　put.add(Bytes.toBytes("family"), Bytes.toBytes("qualifier"), Bytes.toBytes("value")); 
　　// 使用put类, 写入hbase对应的表中 
　　htable.put(put); 
} catch (Exception e) { 
　　e.printStackTrace(); 
} finally { 
　　if (htable != null) { 
　　　　try { 
　　　　　　htable.close(); 
　　　　} catch (IOException e) { 
　　　　　　e.printStackTrace(); 
　　　　} 
　　} 
} 

public class MyBulkload { 
  
    public static class MyBulkMapper extends 
            Mapper<LongWritable, Text, ImmutableBytesWritable, KeyValue> { 
  
        @Override 
        protected void setup(Context context) throws IOException, 
                InterruptedException { 
            super.setup(context); 
        } 
  
        @Override 
        protected void map(LongWritable key, Text value, Context context) 
                throws IOException, InterruptedException { 
            // 数据按\t切分组织, 也可以自定义的方式来解析, 比如复杂的json/xml文本行 
            String line = value.toString(); 
            String[] terms = line.split("\t"); 
            if ( terms.length == 4 ) { 
                byte[] rowkey = terms[0].getBytes(); 
                ImmutableBytesWritable imrowkey = new ImmutableBytesWritable(rowkey); 
                // 写入context中, rowkey => keyvalue, 列族:列名  info:name, info:age, info:phone 
                context.write(imrowkey, new KeyValue(rowkey, Bytes.toBytes("info"), Bytes.toBytes("name"), Bytes.toBytes(terms[1]))); 
                context.write(imrowkey, new KeyValue(rowkey, Bytes.toBytes("info"), Bytes.toBytes("age"), Bytes.toBytes(terms[2]))); 
                context.write(imrowkey, new KeyValue(rowkey, Bytes.toBytes("info"), Bytes.toBytes("phone"), Bytes.toBytes(terms[3]))); 
            } 
        } 
    } 
  
    public static void main(String[] args) throws Exception { 
  
        if ( args.length != 3 ) { 
            System.err.println("Usage: MyBulkload <table_name> <data_input_path> <hfile_output_path>"); 
            System.exit(2); 
        } 
        String tableName = args[0]; 
        String inputPath = args[1]; 
        String outputPath= args[2]; 
  
        // 创建的HTable实例用于, 用于获取导入表的元信息, 包括region的key范围划分 
        Configuration conf = HBaseConfiguration.create(); 
        HTable table = new HTable(conf, tableName); 
  
        Job job = Job.getInstance(conf, "MyBulkload"); 
          
        job.setMapperClass(MyBulkMapper.class); 
  
        job.setJarByClass(MyBulkload.class); 
        job.setInputFormatClass(TextInputFormat.class); 
  
        // 最重要的配置代码, 需要重点分析 
        HFileOutputFormat.configureIncrementalLoad(job, table); 
  
        FileInputFormat.addInputPath(job, new Path(inputPath)); 
        FileOutputFormat.setOutputPath(job, new Path(outputPath)); 
  
        System.exit(job.waitForCompletion(true) ? 0 : 1); 
          
    } 
  
}