网站首页 > 技术文章 正文
本文主要给大家罗列了HBase协处理器加载的三种方式:Shell加载(动态)、Api加载(动态)、配置文件加载(静态)。其中静态加载方式需要重启HBase。
我们假设我们已经有一个现成的需要加载的协处理器Jar包:HelloCoprocessor-0.0.1.jar。
协处理器加载的三种方式
Shell加载
1. 上传HDFS
将打包好的HelloCoprocessor-0.0.1.jar上传服务器,然后放到HDFS上。
# 切换hadoop用户,创建演示目录
$ hdfs dfs -mkdir /usr/hbase/coprocessor
$ hdfs dfs -put HelloCoprocessor-0.0.1.jar /usr/hbase/coprocessor
2. Shell 加载协处理器
我们假设其协处理器类的包名为: org.myname.hbase.Coprocessor.RegionObserverExample Shell 操作如下:
hbase> disable 'mytable' # 禁用表,可选
hbase> alter 'mytable', METHOD => 'table_att', 'coprocessor' => '/usr/hbase/coprocessor/HelloCoprocessor-0.0.1.jar'|org.myname.hbase.Coprocessor.RegionObserverExample|1001|arg1=1,arg2=2'
hbase> enable 'mytable' # 禁用表后启用表,可选
结构如下:
hbase> alter 'mytable', METHOD => 'table_att', 'coprocessor' => ①|②|③|④'
解释下上面各个参数: ①:协处理器Jar包路径,要保证所有的RegionServer可读取到。也可以是本地路径,不过建议是放在HDFS上。 ②:协处理器的完整类名。 ③:协处理器优先级,整数表示。可以为空。 ④:传递给协处理器的参数,可以为空。
注:各参数间不要有空格。
3. 验证是否加载协处理器
hbase> desc 'mytable'
Table mytable is ENABLE
mytable, {TABLE_ATTRIBUTES => {coprocessor$1 => '/usr/hbase/coprocessor/HelloCoprocessor-0.0.1.jar'|org.myname.hbase.Coprocessor.RegionObserverExample|1001|arg1=1,arg2=2'}}
此验证不保证协处理器能正常工作:shell命令既不保证特定位置存在jar文件,也不验证给定类是否实际包含在jar文件中。
4. 卸载协处理器
hbase> disable 'mytable' # 禁用表,可选
hbase> alter 'mytable', METHOD => 'table_att_unset', NAME => 'coprocessor$1'
hbase> enable 'mytable' # 禁用表后启用表,可选
坑:在没有重启HBase情况下,如果修改协处理器代码并重新加载协处理器,请重命名协处理器Jar包的名字,否则不会生效。(由于当前JVM引用了现有的协处理器,因此必须通过重新启动RegionServer来重新启动JVM,以便替换它。)
Api 加载
具体方法是调用HtableDescriptor的addCoprocessor方法。该方法有两个重载方法:
- addCoprocessor(String className)
- addCoprocessor(className,jarPath,priority,kvs) 第二个重载方法提供了上述Shell中所需的各个参数①②③④,方法一则需要用户手动将jar包分发到各个RegionServer的lib目录下。
示例代码如下:
TableName tableName = TableName.valueOf("mytable");
Path path = new Path("hdfs://<namenode>:<port>/usr/hbase/coprocessor/HelloCoprocessor-0.0.1.jar");
Configuration conf = HBaseConfiguration.create();
Connection connection = ConnectionFactory.createConnection(conf);
Admin admin = connection.getAdmin();
admin.disableTable(tableName);
HTableDescriptor hTableDescriptor = new HTableDescriptor(tableName);
HColumnDescriptor columnFamily1 = new HColumnDescriptor("f1");
columnFamily1.setMaxVersions(1);
hTableDescriptor.addFamily(columnFamily1);
HColumnDescriptor columnFamily2 = new HColumnDescriptor("f2");
columnFamily2.setMaxVersions(3);
hTableDescriptor.addFamily(columnFamily2);
hTableDescriptor.addCoprocessor('org.myname.hbase.Coprocessor.RegionObserverExample', path,
Coprocessor.PRIORITY_USER, null);
admin.modifyTable(tableName, hTableDescriptor);
admin.enableTable(tableName);
重新加载表定义,无需使用addCoprocessor()方法设置协处理器的值。这将删除附加到表的任何协处理器。
配置文件加载
1. 修改配置文件:hbase-site.xml,配置项如下:
1.1 RegionObservers/Endpoints
<property>
<name>hbase.coprocessor.region.classes</name>
<value>org.myname.hbase.Coprocessor.RegionObserverExample</value>
</property>
1.2 WALObservers
<property>
<name>hbase.coprocessor.wal.classes</name>
<value>org.myname.hbase.Coprocessor.RegionObserverExample</value>
</property>
1.3 MasterObservers
<property>
<name>hbase.coprocessor.master.classes</name>
<value>org.myname.hbase.Coprocessor.RegionObserverExample</value>
</property>
如果想同时配置多个协处理器,可以用逗号分隔多个协处理器的类名。
2. 添加Jar包
将您的代码放在HBase的类路径上。一种简单的方法是将jar(包含代码和所有依赖项)放入HBase的安装目录lib/中。
3. 重启HBase生效。
4. 静态卸载
- 从hbase-site.xml中删除协处理器的元素,包括子元素。
- 重启HBase。
- 从类路径或HBase的lib/目录中删除协处理器的JAR文件。(可选)
转载请注明出处!欢迎关注本人微信公众号【HBase工作笔记】
猜你喜欢
- 2024-09-20 Axure PR 9 按钮(Button)设计&交互
- 2024-09-20 378.C# Windows系统API中的字符串和字符集
- 2024-09-20 Win10将引入DirectStorage API:大大加快游戏加载时间
- 2024-09-20 「基本功」前端安全系列之一:如何防止XSS攻击?
- 2024-09-20 前端安全系列(一):如何防止XSS攻击?
- 2024-09-20 常见六大 Web 安全攻防解析 | 技术头条
- 2024-09-20 vue3+vite+element-plus API接口请求
- 2024-09-20 「实战」用原生的 Intersection Observer API 实现 Lazy Loading
- 2024-09-20 高德地图 JSAPI 2.0 (GL+) 正式版发布
- 2024-09-20 HTML5 的无刷新加载页面技术(html5局部刷新)
- 1514℃桌面软件开发新体验!用 Blazor Hybrid 打造简洁高效的视频处理工具
- 563℃Dify工具使用全场景:dify-sandbox沙盒的原理(源码篇·第2期)
- 508℃MySQL service启动脚本浅析(r12笔记第59天)
- 486℃服务器异常重启,导致mysql启动失败,问题解决过程记录
- 485℃启用MySQL查询缓存(mysql8.0查询缓存)
- 465℃「赵强老师」MySQL的闪回(赵强iso是哪个大学毕业的)
- 445℃mysql服务怎么启动和关闭?(mysql服务怎么启动和关闭)
- 442℃MySQL server PID file could not be found!失败
- 最近发表
- 标签列表
-
- c++中::是什么意思 (83)
- 标签用于 (65)
- 主键只能有一个吗 (66)
- c#console.writeline不显示 (75)
- pythoncase语句 (81)
- es6includes (73)
- windowsscripthost (67)
- apt-getinstall-y (86)
- node_modules怎么生成 (76)
- c++int转char (75)
- static函数和普通函数 (76)
- el-date-picker开始日期早于结束日期 (70)
- js判断是否是json字符串 (67)
- checkout-b (67)
- c语言min函数头文件 (68)
- asynccallback (71)
- localstorage.removeitem (74)
- vector线程安全吗 (70)
- & (66)
- java (73)
- js数组插入 (83)
- mac安装java (72)
- eacces (67)
- 查看mysql是否启动 (70)
- 无效的列索引 (74)