datax数据导出

时间:2019-10-16作者:klpeng分类:IT综合浏览:2780评论:0

场景:mysql单表transaction数据量达到20亿,占服务器磁盘太多需要导出,但是普通方法导出太慢,这里借助datax工具,对transaction表按日期进行分表后将数据导入对应日期的表内。

1、需要安装的环境:

(1)jdk 1.8

(2)maven 3.3.9

(3)python 2.6 +

验证环境:

# java -version

datax数据导出

# mvn -v

datax数据导出

# python

datax数据导出

2、下载datax.tar.gz,要点datax下载地址下载tar.gz包,下载地址:https://github.com/alibaba/DataX

datax数据导出

3、将datax.tar.gz上传到服务器安装目录,我这里是/home/data/datax,然后解压:

# tar -zxvf datax.tar.gz

tar -zxvf datax.tar.gz

目录如下:

datax数据导出

bin目录是启动目录,job目录存放执行的json脚本文件,log目录问日志目录。

4、在目标服务器创建备份库:exchange_copy

创建日期表,比如:transaction_201910,transaction_201909,transaction_201908......

5、编写json文件:transaction_201910.json,比如我的如下:

{
    "job": {
        "setting": {
            "speed": {
                "channel": 5
            },
            "errorLimit": {
                "record": 100000000,
                "percentage": 0.02
            }
        },
        "content": [{
            "reader": {
                "name": "mysqlreader",
                "parameter": {
                    "username": "root",
                    "password": "123456",
                    "column": [
                        "id",
                        "from_uid",
                        "from_type",
                        "from_balance",
                        "to_uid",
                        "to_type",
                        "to_balance",
                        "amount",
                        "meta",
                        "scene",
                        "ref_type",
                        "ref_id",
                        "op_uid",
                        "op_ip",
                        "ctime",
                        "mtime",
                        "fingerprint"
                    ],
                    "where": "ctime >= '2019-10-01 00:00:00' and ctime <= '2019-10-31 23:59:59'",
                    "connection": [{
                        "table": [
                            "transaction"
                        ],
                        "jdbcUrl": [
                            "jdbc:mysql://192.168.0.118:3306/exchange"
                        ]
                    }]
                }
            },
            "writer": {
                "name": "mysqlwriter",
                "parameter": {
                    "writeMode": "insert",
                    "username": "root",
                    "password": "root",
                    "column": [
                        "id",
                        "from_uid",
                        "from_type",
                        "from_balance",
                        "to_uid",
                        "to_type",
                        "to_balance",
                        "amount",
                        "meta",
                        "scene",
                        "ref_type",
                        "ref_id",
                        "op_uid",
                        "op_ip",
                        "ctime",
                        "mtime",
                        "fingerprint"
                    ],
                    "preSql": [
                        "truncate table transaction_201910"
                    ],
                    "connection": [{
                        "jdbcUrl": "jdbc:mysql://localhost:3306/exchange_transaction_copy",
                        "table": [
                            "transaction_201910"
                        ]
                    }]
                }
            }
        }]
    }
}
 
 注意:

where:按日期查询;

setting.speed:流量控制;

errorLimit.record:配置脏数据条数,默认0条,我这里忽略脏数据所以配大点。

preSql:执行insert前先清空目标表

5、将transaction_201910文件上传到job目录,我这里目录为:/home/data/datax/datax/job

6、进入datax的bin目录,启动:

# cd /home/data/datax/datax/bin

# python datax.py ../job/transaction_201910.json

datax数据导出

如图表示数据迁移成功。

 

 

打赏
文章版权声明:除非注明,否则均为彭超的博客原创文章,转载或复制请以超链接形式并注明出处。
相关推荐

发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

猜你喜欢