SymmetricDS 完全配置安装手册

数据库 专栏收录该内容
13 篇文章 0 订阅

概述

SymmetricDS 是一个基于 Java 的数据库同步框架。本文并不打算带你熟悉 SymmetricDS 的实现原理,只是从安装与配置入手,让你感受一下 SymmetricDS 运行效果。如果你的系统中是干净(空白)的,那么你需要做的事情就比较多了。本文希望尽可能全面且细致地讲解配置过程,而不至于你按照本文的教程安装,出现无法使用的情况。如果真的有这样的情况产生,你可以在下面进行留言。以下是我在安装环境时配置的一些记录,希望于你有益。


版权说明

著作权归作者所有。
商业转载请联系作者获得授权,非商业转载请注明出处。
本文作者:Q-WHai
发表日期: 2016年7月12日
本文链接:https://qwhai.blog.csdn.net/article/details/51891291
来源:CSDN
更多内容:分类 >> 数据库


我的环境

  1. CentOS release 6.5 (Final)
  2. java version “1.8.0_92”
  3. mysql Ver 14.14 Distrib 5.1.73, for redhat-linux-gnu (x86_64) using readline 5.1
  4. OpenSSH_5.3p1, OpenSSL 1.0.1e-fips 11 Feb 2013
  5. symmetric-server-3.7.34

相关配置

安装配置 JDK

这里需要你的 JDK 版本为 jdk1.6 以上,关于 JDK 的安装和配置这里就不多说了,网上一大堆。

防火墙

此处为测试环境,故设置了关闭防火墙

$ sudo service iptables stop
$ sudo chkconfig iptables off  # 设置防火墙不随系统启动,这一条你可以选择性添加

SSH 免密码登录

关于 SSH 的免密码登录在这里不是很重要,只是本人在下发文件的时候用到了。你可以选择性配置。
配置过程可参见本人另一篇博客《Hadoop 2.2.0 集群搭建

创建 MySQL 新用户

这里为了避免使用 root 帐户,所以创建了新的数据库操作用户:symmetric
首先使用 root 帐户登录 MySQL,并执行如下 SQL 语句:

mysql> INSERT INTO mysql.user(HOST,USER,PASSWORD) values("localhost","symmetric",password("123456"));
mysql> FLUSH privileges;

上面的 SQL 语句可以让你有一个 symmetric 的MySQL 用户,可是这个用户在很多地方都没有操作权限。这里需要修改某些操作的权限:

mysql> UPDATE mysql.user
SET
    Select_priv='Y',Insert_priv='Y',Update_priv='Y',Delete_priv='Y',Create_priv='Y',
    Drop_priv='Y',Reload_priv='Y',Shutdown_priv='Y',Process_priv='Y',File_priv='Y',
    Grant_priv='Y',References_priv='Y',Index_priv='Y',Alter_priv='Y',Show_db_priv='Y',
    Super_priv='Y',Create_tmp_table_priv='Y',Lock_tables_priv='Y',Execute_priv='Y',Repl_slave_priv='Y',
    Repl_client_priv='Y',Create_view_priv='Y',Show_view_priv='Y',Create_routine_priv='Y',Alter_routine_priv='Y',
    Create_user_priv='Y',Event_priv='Y',Trigger_priv='Y' 
WHERE
    USER="symmetric"
AND
    HOST="localhost";
mysql> FLUSH privileges;

配置 MySQL 驱动

在 Java 中,如果需要连接 MySQL 数据库,需要使用 JDBC 的数据库连接技术。在使用 JDBC 的时候比较容易忽略的就是连接驱动的配置了。
这一点在 Windows 下还好,不过要在 Linux 下使用 JDBC 就需要配置 MySQL 的驱动程序了。

  1. 首先上传 MySQL 的驱动 jar 包 mysql-connector-java-5.1.6-bin.jar 到 Linux 的合适位置
  2. 配置环境变量
$ sudo vim /etc/profile

在文件末尾处添加如下内容:

export CLASSPATH=${CLASSPATH}:/home/hadoop/libs/mysql-connector-java-5.1.6-bin.jar

设置配置立即生效

$ source /etc/profile

SymmetricDS

首先上传 symmetric-server-3.7.34 到 master 节点自定义的一个目录下,再重命名移动到用户根目录。

$ mv symmetric-server-3.7.34/ ~/symmetric

然后再下发此文件夹:

$ scp -r ~/symmetric/ slave:~/symmetric/

配置 corp

这里的 corp 也就是我的 master 节点。
复制 symmetric 目录下的 samples/corp-000.properties 文件到 engines 目录下:

$ cp samples/corp-000.properties engines/

并修改此文件内容

$ vim engines/corp-000.properties

修改后的内容如下:

engine.name=corp-000

db.driver=com.mysql.jdbc.Driver
db.url=jdbc:mysql://master/sample

db.user=symmetric
db.password=123456

registration.url=
sync.url=http://master:8080/sync/corp-000

group.id=corp
external.id=000

job.purge.period.time.ms=7200000
job.routing.period.time.ms=5000
job.push.period.time.ms=10000
job.pull.period.time.ms=10000
initial.load.create.first=true

这里我只保留了实际的内容,不包含注释。

配置 store

这里的 store 也就是我的 slave 节点。
复制 symmetric 目录下的 samples/store-001.properties 文件到 engines 目录下:

$ cp samples/store-001.properties engines/

并修改此文件内容

$ vim engines/store-001.properties

修改后的内容如下:

engine.name=store-001

db.driver=com.mysql.jdbc.Driver
db.url=jdbc:mysql://slave/sample

db.user=symmetric
db.password=123456

registration.url=http://master:8080/sync/corp-000

group.id=store
external.id=001

job.routing.period.time.ms=5000
job.push.period.time.ms=10000
job.pull.period.time.ms=10000

配置文件可执行

在默认的情况下,symmetric/bin 目录下的文件没有执行权限,所以这里我们要为这些文件添加可执行权限:

$ chmod 755 bin/*

创建数据库

$ mysql -usymmetric -p123456
mysql> create database sample;

创建数据表

自动化创建

在 symmetric 中默认已经给出了自动化的数据创建过程,不过这种自动化的创建有一些不足的地方,那就是数据不够完整。这样就会致使在后面自动化插入数据时出现找不到数据表的情况,所以这里我比较推荐你使用下面手动创建的方式。自动化的创建方式只作为参考:
创建指令

$ ./bin/symadmin --engine corp-000 create-sym-tables

创建结果

mysql> show tables;
+-----------------------------+
| Tables_in_sample            |
+-----------------------------+
| sym_channel                 |
| sym_conflict                |
| sym_data                    |
| sym_data_event              |
| sym_data_gap                |
| sym_extension               |
| sym_extract_request         |
| sym_file_incoming           |
| sym_file_snapshot           |
| sym_file_trigger            |
| sym_file_trigger_router     |
| sym_grouplet                |
| sym_grouplet_link           |
| sym_incoming_batch          |
| sym_incoming_error          |
| sym_load_filter             |
| sym_lock                    |
| sym_node                    |
| sym_node_channel_ctl        |
| sym_node_communication      |
| sym_node_group              |
| sym_node_group_channel_wnd  |
| sym_node_group_link         |
| sym_node_host               |
| sym_node_host_channel_stats |
| sym_node_host_job_stats     |
| sym_node_host_stats         |
| sym_node_identity           |
| sym_node_security           |
| sym_outgoing_batch          |
| sym_parameter               |
| sym_registration_redirect   |
| sym_registration_request    |
| sym_router                  |
| sym_sequence                |
| sym_table_reload_request    |
| sym_transform_column        |
| sym_transform_table         |
| sym_trigger                 |
| sym_trigger_hist            |
| sym_trigger_router          |
| sym_trigger_router_grouplet |
+-----------------------------+
42 rows in set (0.00 sec)

手动创建

手动创建虽然比较繁琐,但是数据比较完整,整个过程也很顺利。

SQL

item

CREATE TABLE item(  
    item_id INTEGER PRIMARY KEY,
    name VARCHAR(100)
);

item_selling_price

CREATE TABLE item_selling_price(
    item_id INTEGER REFERENCES item(item_id),
    store_id VARCHAR(5),
    price DECIMAL(10,2),
    cost DECIMAL(10,2),
    PRIMARY KEY(item_id, store_id)
);

sale_transaction

CREATE TABLE sale_transaction(
    tran_id INTEGER PRIMARY KEY,
    store_id VARCHAR(5) NOT NULL,
    workstation VARCHAR(3) NOT NULL,
    day VARCHAR(10) NOT NULL,
    seq INTEGER NOT NULL
);

sale_return_line_item

CREATE TABLE sale_return_line_item(
    tran_id INTEGER PRIMARY KEY REFERENCES sale_transaction(tran_id),
    item_id INTEGER NOT NULL REFERENCES item(item_id),
    price DECIMAL(10,2) NOT NULL,
    quantity INTEGER NOT NULL,
    returned_quantity INTEGER
);

于是创建了如下 4 张数据表:

mysql> show tables;
+-----------------------+
| Tables_in_sample      |
+-----------------------+
| item                  |
| item_selling_price    |
| sale_return_line_item |
| sale_transaction      |
+-----------------------+

修改 HOST

由于之前的配置文件中设置了 HOST 为 master,所以这里需要修改用户 symmetric 的 HOST。

mysql> UPDATE user SET HOST='%' WHERE user='symmetric';
mysql> FLUSH privileges;

生成分销系统表

在 symmetric 中默认已经给出了自动化生成分销系统表的方式,只要一句指令即可:
指令

$ ./bin/symadmin --engine corp-000 create-sym-tables

检查结果
查看 MySQL 中的数据表

mysql> show tables;
+-----------------------------+
| Tables_in_sample            |
+-----------------------------+
| item                        |
| item_selling_price          |
| sale_return_line_item       |
| sale_transaction            |
| sym_channel                 |
| sym_conflict                |
| sym_data                    |
| sym_data_event              |
| sym_data_gap                |
| sym_extension               |
| sym_extract_request         |
| sym_file_incoming           |
| sym_file_snapshot           |
| sym_file_trigger            |
| sym_file_trigger_router     |
| sym_grouplet                |
| sym_grouplet_link           |
| sym_incoming_batch          |
| sym_incoming_error          |
| sym_load_filter             |
| sym_lock                    |
| sym_node                    |
| sym_node_channel_ctl        |
| sym_node_communication      |
| sym_node_group              |
| sym_node_group_channel_wnd  |
| sym_node_group_link         |
| sym_node_host               |
| sym_node_host_channel_stats |
| sym_node_host_job_stats     |
| sym_node_host_stats         |
| sym_node_identity           |
| sym_node_security           |
| sym_outgoing_batch          |
| sym_parameter               |
| sym_registration_redirect   |
| sym_registration_request    |
| sym_router                  |
| sym_sequence                |
| sym_table_reload_request    |
| sym_transform_column        |
| sym_transform_table         |
| sym_trigger                 |
| sym_trigger_hist            |
| sym_trigger_router          |
| sym_trigger_router_grouplet |
+-----------------------------+
46 rows in set (0.00 sec)

填充数据

虽然上面说了一堆东西,但是还只是一堆空的数据表,如下我们就把 symmetric 自带的数据填充到数据表中。操作过程如下:
指令

$ ./bin/dbimport --engine corp-000 ./samples/insert_sample.sql

结果检查

mysql> select * from item_selling_price;
+----------+----------+-------+------+
| item_id  | store_id | price | cost |
+----------+----------+-------+------+
| 11000001 | 001      |  0.20 | 0.10 |
| 11000001 | 002      |  0.30 | 0.20 |
+----------+----------+-------+------+
2 rows in set (0.00 sec)

启动 SymmetricDS

因为这里是两个节点之间的数据同步,所以我们需要启动两个节点:corp 和 store
start corp node
corp 设置开启的端口为 8080

$ ./bin/sym --engine corp-000 --port 8080

start store node
store 设置开启的端口为 9090

$ ./bin/sym --engine store-001 --port 9090

上面两个窗口的启动之后,会进入等待状态,所以如果有其他操作,就需要另外打开窗口了。

注册节点

这里还有一步需要处理就是注册节点,注册操作在 corp 和 store 启动之后进行。

$ ./bin/symadmin --engine corp-000 open-registration store 001
Log output will be written to /home/hadoop/symmetric/logs/symmetric.log
[] - AbstractCommandLauncher - Option: name=engine, value={corp-000}
[corp-000] - JdbcDatabasePlatformFactory - Detected database 'MySQL', version '5', protocol 'mysql'
[corp-000] - JdbcDatabasePlatformFactory - The IDatabasePlatform being used is org.jumpmind.db.platform.mysql.MySqlDatabasePlatform
[corp-000] - MySqlSymmetricDialect - The DbDialect being used is org.jumpmind.symmetric.db.mysql.MySqlSymmetricDialect
[corp-000] - ExtensionService - Found 0 extension points from the database that will be registered
[corp-000] - StagingManager - The staging directory was initialized at the following location: /home/hadoop/symmetric/tmp/corp-000
[corp-000] - ClusterService - This node picked a server id of master
[corp-000] - ExtensionService - Found 0 extension points from the database that will be registered
[corp-000] - ClientExtensionService - Found 9 extension points from spring that will be registered
[corp-000] - RegistrationService - Registration was reopened for 001
Opened registration for node group of 'store' external ID of '001'

发送初始负载

发送初始负载的目的是将最开始的时候 corp 节点数据表中的数据同步到 store 节点中。如果你开始的数据表中没有这些数据,那么就可以不用发送此负载了。
指令

$ ./bin/symadmin --engine corp-000 reload-node 001

结果

Log output will be written to /home/hadoop/symmetric/logs/symmetric.log
[] - AbstractCommandLauncher - Option: name=engine, value={corp-000}
[corp-000] - JdbcDatabasePlatformFactory - Detected database 'MySQL', version '5', protocol 'mysql'
[corp-000] - JdbcDatabasePlatformFactory - The IDatabasePlatform being used is org.jumpmind.db.platform.mysql.MySqlDatabasePlatform
[corp-000] - MySqlSymmetricDialect - The DbDialect being used is org.jumpmind.symmetric.db.mysql.MySqlSymmetricDialect
[corp-000] - ExtensionService - Found 0 extension points from the database that will be registered
[corp-000] - StagingManager - The staging directory was initialized at the following location: /home/hadoop/symmetric/tmp/corp-000
[corp-000] - ClusterService - This node picked a server id of master
[corp-000] - ExtensionService - Found 0 extension points from the database that will be registered
[corp-000] - ClientExtensionService - Found 9 extension points from spring that will be registered
Successfully enabled initial load for node 001

测试验证

这里的验证为在 corp(即 master) 节点上修改一条数据,观察两个节点中数据表的变化。
在 corp 节点的数据库中执行相应 SQL 语句:

更新

mysql> UPDATE item_selling_price SET price='0.21' WHERE item_id='11000001' AND store_id='001';

corp

mysql> select * from item_selling_price;
+----------+----------+-------+------+
| item_id  | store_id | price | cost |
+----------+----------+-------+------+
| 11000001 | 001      |  0.21 | 0.10 |
| 11000001 | 002      |  0.30 | 0.20 |
+----------+----------+-------+------+
2 rows in set (0.00 sec)

store

mysql> select * from item_selling_price;
+----------+----------+-------+------+
| item_id  | store_id | price | cost |
+----------+----------+-------+------+
| 11000001 | 001      |  0.21 | 0.10 |
+----------+----------+-------+------+
1 row in set (0.00 sec)

插入

注意这里不要只添加一条记录,因为涉及到了数据库的触发器,我们虚拟了一条交易记录,如下:

mysql> INSERT INTO item (item_id, name) VALUES (110000055, 'Soft Drink');
mysql> INSERT INTO item_selling_price (item_id, store_id, price) VALUES (110000055, '001', 0.65);
mysql> INSERT INTO item_selling_price (item_id, store_id, price) VALUES (110000055, '002', 1.00);

当一条交易被完成之后,我们再去检查一下 store 节点中的数据信息:

mysql> select * from item_selling_price;
+-----------+----------+-------+------+
| item_id   | store_id | price | cost |
+-----------+----------+-------+------+
|  11000001 | 001      |  0.22 | 0.10 |
| 110000055 | 001      |  0.65 | NULL |
+-----------+----------+-------+------+
2 rows in set (0.00 sec)
mysql> select * from item;
+-----------+------------+
| item_id   | name       |
+-----------+------------+
|  11000001 | Yummy Gum  |
| 110000055 | Soft Drink |
+-----------+------------+
2 rows in set (0.00 sec)

数据的确是有增加的,验证完成。


Ref

  • http://blog.csdn.net/xichenguan/article/details/41720861

征集

如果你也需要使用ProcessOn这款在线绘图工具,可以使用如下邀请链接进行注册:
https://www.processon.com/i/56205c2ee4b0f6ed10838a6d

  • 4
    点赞
  • 7
    评论
  • 0
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

相关推荐
<p> <span style="font-size:14px;color:#337FE5;">【为什么学爬虫?】</span> </p> <p> <span style="font-size:14px;">       1、爬虫入手容易,但是深入较难,如何写出高效率的爬虫,如何写出灵活性高可扩展的爬虫都是一项技术活。另外在爬虫过程中,经常容易遇到被反爬虫,比如字体反爬、IP识别、验证码等,如何层层攻克难点拿到想要的数据,这门课程,你都能学到!</span> </p> <p> <span style="font-size:14px;">       2、如果是作为一个其他行业的开发者,比如app开发,web开发,学习爬虫能让你加强对技术的认知,能够开发出更加安全的软件和网站</span> </p> <p> <br /> </p> <span style="font-size:14px;color:#337FE5;">【课程设计】</span> <p class="ql-long-10663260"> <span> </span> </p> <p class="ql-long-26664262" style="font-size:11pt;color:#494949;"> 一个完整的爬虫程序,无论大小,总体来说可以分成三个步骤,分别是: </p> <ol> <li class="" style="font-size:11pt;color:#494949;"> 网络请求:模拟浏览器的行为从网上抓取数据。 </li> <li class="" style="font-size:11pt;color:#494949;"> 数据解析:将请求下来的数据进行过滤,提取我们想要的数据。 </li> <li class="" style="font-size:11pt;color:#494949;"> 数据存储:将提取到的数据存储到硬盘或者内存中。比如用mysql数据库或者redis等。 </li> </ol> <p class="ql-long-26664262" style="font-size:11pt;color:#494949;"> 那么本课程也是按照这几个步骤循序渐进的进行讲解,带领学生完整的掌握每个步骤的技术。另外,因为爬虫的多样性,在爬取的过程中可能会发生被反爬、效率低下等。因此我们又增加了两个章节用来提高爬虫程序的灵活性,分别是: </p> <ol> <li class="" style="font-size:11pt;color:#494949;"> 爬虫进阶:包括IP代理,多线程爬虫,图形验证码识别、JS加密解密、动态网页爬虫、字体反爬识别等。 </li> <li class="" style="font-size:11pt;color:#494949;"> Scrapy和分布式爬虫:Scrapy框架、Scrapy-redis组件、分布式爬虫等。 </li> </ol> <p class="ql-long-26664262" style="font-size:11pt;color:#494949;"> 通过爬虫进阶的知识点我们能应付大量的反爬网站,而Scrapy框架作为一个专业的爬虫框架,使用他可以快速提高我们编写爬虫程序的效率和速度。另外如果一台机器不能满足你的需求,我们可以用分布式爬虫让多台机器帮助你快速爬取数据。 </p> <p style="font-size:11pt;color:#494949;">   </p> <p class="ql-long-26664262" style="font-size:11pt;color:#494949;"> 从基础爬虫到商业化应用爬虫,本套课程满足您的所有需求! </p> <p class="ql-long-26664262" style="font-size:11pt;color:#494949;"> <br /> </p> <p> <br /> </p> <p> <span style="font-size:14px;background-color:#FFFFFF;color:#337FE5;">【课程服务】</span> </p> <p> <span style="font-size:14px;">专属付费社群+定期答疑</span> </p> <p> <br /> </p> <p class="ql-long-24357476"> <span style="font-size:16px;"><br /> </span> </p> <p> <br /> </p> <p class="ql-long-24357476"> <span style="font-size:16px;"></span> </p>
©️2020 CSDN 皮肤主题: 程序猿惹谁了 设计师:白松林 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值