SpringCloud:Seata处理分布式事务
分布式事务问题
只要用到分布式,必然会提及分布式的事务。
在使用分布式之后,单体应用被拆分成微服务应用,原来的三个模块被拆分成三个独立的应用,分别使用三个独立的数据源。
业务操作需要调用三个服务来完成。此时每个服务内部的数据一致性由本地事务来保证,但是全局的数据一致性问题没法保证。
一句话:一次业务操作需要跨多个数据源或需要跨多个系统进行远程调用,就会产生分布式事务问题。
1.Seata简介与安装
官网:http://seata.io/zh-cn/
Seata是一款开源的分布式事务解决方案,致力于在微服务架构下提供高性能和简单易用的分布式事务服务。
1.1 相关术语
一个典型的分布式事务过程,可以用分布式处理过程的一ID+三组件模型来描述。
一ID(全局唯一的事务ID):Transaction ID XID,在这个事务ID下的所有事务会被统一控制
三组件:
- Transaction Coordinator (TC):事务协调器,维护全局事务的运行状态,负责协调并驱动全局事务的提交或回滚;(Server端,为单独服务器部署)
- Transaction Manager (TM):事务管理器,控制全局事务的边界,负责开启一个全局事务,并最终发起全局提交或全局回滚的决议;
- Resource Manager (RM):资源管理器,控制分支事务,负责分支注册、状态汇报,并接收事务协调器的指令,驱动分支(本地)事务的提交和回滚
- Seata分TC、TM和RM三个角色,TC(Server端)为单独服务端部署,TM和RM(Client端)由业务系统集成(微服务)。
1.2 典型的分布式控制事务流程
- TM 向 TC 申请开启一个全局事务,全局事务创建成功并生成一个全局唯一的 XID;
- XID 在微服务调用链路的上下文中传播;(也就是在多个TM,RM中传播)
- RM 向 TC 注册分支事务,将其纳入 XID 对应全局事务的管辖;
- TM 向 TC 发起针对 XID 的全局提交或回滚决议;
- TC 调度 XID 下管辖的全部分支事务完成提交或回滚请求。
1.3 Seata-Server的下载与配置
1.4.2版本:下载地址
0. 启动nacos
启动nacos,新建一个命名空间seata用于存放seata的配置信息。
注意这里的命名空间ID,后面会用到。这里不新建也可以,seata使用的是public。
我们使用nacos充当seata的注册中心和配置中心!
1. 修改配置文件
①进入conf文件夹,修改file.conf文件
mode=“file” 改为 db
修改数据库信息
数据库驱动和链接案例
jdbc:mysql://127.0.0.1:3306/seata?useUnicode=true&characterEncoding=utf-8&useSSL=false&nullCatalogMeansCurrent=true&serverTimezone=UTC
com.mysql.cj.jdbc.Driver
②修改conf\registry.conf文件
思考:这里我们把seata-server端的config设置为了nacos,那么是不是第一步的file.conf文件就不再需要了。因为直接从nacos读取配置?
2. 将配置导入到nacos
在conf文件夹下,需要有个nacos-config.sh文件,这个文件1.4.2版本没有。
可以在README-zh.md文件中访问config-center超链接(https://github.com/seata/seata/tree/develop/script/config-center),nacos文件夹下:
② config.txt准备及修改
在seate根目录下还需要一个config.txt文件(和bin,conf 一个目录下),1.4.2版本同样没有,还是去README里面的config-center超链接。
修改config.txt文件中的内容,主要是下面这几项:
改为使用db存储:
③ 导入seata相应的配置项到Nacos
config.txt就是seata各种详细的配置,执行nacos-config.sh即可将这些配置导入到nacos。这样就不需要将file.conf和registry.conf放到我们的项目中了,需要什么配置就直接从nacos中读取。
然后执行:
sh nacos-config.sh -h localhost -p 8848 -g SEATA_GROUP -t c07ff266-2233-43f0-8b52-d9832b0c78ce -u nacos -w nacos
注:h表示nacos的地址,p表示端口号,g表示配置的分组,t表示命名空间的ID,u跟w表示nacos的账户密码。如果没有设置命名空间,而且都是默认选项直接 sh nacos-config.sh -h localhost就行。
可以看到共103项,导入失败4项,就是上面没有值的那四项(不影响,如果用到直接在nacos里面新建配置即可)
可以看到,nacos的seata命名空间中已经导入了配置项。(seata命名空间是我自己创建的,可以按自己的需求创建,不创建默认的就是public。)
3. 数据库中建库建表
我们先创建数据库seata1_4_2(数据库要与config.txt中db设置那里对应),数据库的建表语句在README文件的server连接中:
然后执行mysql.sql(1.4.2多了个distributed_lock表,和一些插入语句)
这四张表跟config.txt文件中的配置对应
4. 启动seata
运行bin目录下的seata-server.bat。
出现下面字段表示seata启动成功。seata启动日志在C:\Users\admin\logs\seata文件夹下。
nacos中在seata命名空间内也成功注册,注意这里服务名对应的是registry.conf文件中nacos下面application的值。
订单/库存/账户业务数据库准备
2.1 分布式事务业务说明
这里我们会创建三个服务,一个订单服务,一个库存服务,一个账户服务。
当用户下单时,会在订单服务中创建一个订单,然后通过远程调用库存服务来扣减下单商品的库存,再通过远程调用账户服务来扣减用户账户里面的余额,最后在订单服务中修改订单状态为已完成。
该操作跨越三个数据库,有两次远程调用,很明显会有分布式事务问题。
下订单--->扣库存--->减账户(余额)
2.2 创建业务数据库与表
1. 创建业务数据库
seata_order:存储订单的数据库;
seata_storage:存储库存的数据库;
seata_account:存储账户信息的数据库。
CREATE DATABASE seata_order;
CREATE DATABASE seata_storage;
CREATE DATABASE seata_account;
2. 按照上述3库分别创建对应业务表
CREATE TABLE seata_order.`t_order` (
`id` BIGINT(11) NOT NULL AUTO_INCREMENT PRIMARY KEY,
`user_id` BIGINT(11) DEFAULT NULL COMMENT '用户id',
`product_id` BIGINT(11) DEFAULT NULL COMMENT '产品id',
`count` INT(11) DEFAULT NULL COMMENT '数量',
`money` DECIMAL(11,0) DEFAULT NULL COMMENT '金额',
`status` INT(1) DEFAULT NULL COMMENT '订单状态:0:创建中;1:已完结'
) ENGINE=INNODB AUTO_INCREMENT=7 DEFAULT CHARSET=utf8;
CREATE TABLE `seata_storage`.`t_storage` (
`id` BIGINT(11) NOT NULL AUTO_INCREMENT PRIMARY KEY,
`product_id` BIGINT(11) DEFAULT NULL COMMENT '产品id',
`total` INT(11) DEFAULT NULL COMMENT '总库存',
`used` INT(11) DEFAULT NULL COMMENT '已用库存',
`residue` INT(11) DEFAULT NULL COMMENT '剩余库存'
) ENGINE=INNODB AUTO_INCREMENT=2 DEFAULT CHARSET=utf8;
INSERT INTO seata_storage.t_storage(`id`, `product_id`, `total`, `used`, `residue`)
VALUES ('1', '1', '100', '0', '100');
CREATE TABLE `seata_account`.t_account (
`id` BIGINT(11) NOT NULL AUTO_INCREMENT PRIMARY KEY COMMENT 'id',
`user_id` BIGINT(11) DEFAULT NULL COMMENT '用户id',
`total` DECIMAL(10,0) DEFAULT NULL COMMENT '总额度',
`used` DECIMAL(10,0) DEFAULT NULL COMMENT '已用余额',
`residue` DECIMAL(10,0) DEFAULT '0' COMMENT '剩余可用额度'
) ENGINE=INNODB AUTO_INCREMENT=2 DEFAULT CHARSET=utf8;
INSERT INTO seata_account.t_account(`id`, `user_id`, `total`, `used`, `residue`) VALUES ('1', '1', '1000', '0', '1000');
3. 按照上述3库分别建对应的回滚日志表
订单-库存-账户3个库下都需要建各自的回滚日志表,\seata-server-0.9.0\seata\conf目录下的db_undo_log.sql;1.4.2版本的在README_ZH文件中的client:
DROP TABLE IF EXISTS `undo_log`;
CREATE TABLE IF NOT EXISTS `undo_log`
(
`branch_id` BIGINT NOT NULL COMMENT 'branch transaction id',
`xid` VARCHAR(128) NOT NULL COMMENT 'global transaction id',
`context` VARCHAR(128) NOT NULL COMMENT 'undo_log context,such as serialization',
`rollback_info` LONGBLOB NOT NULL COMMENT 'rollback info',
`log_status` INT(11) NOT NULL COMMENT '0:normal status,1:defense status',
`log_created` DATETIME(6) NOT NULL COMMENT 'create datetime',
`log_modified` DATETIME(6) NOT NULL COMMENT 'modify datetime',
UNIQUE KEY `ux_undo_log` (`xid`, `branch_id`)
) ENGINE = InnoDB
AUTO_INCREMENT = 1
DEFAULT CHARSET = utf8 COMMENT ='AT transaction mode undo table';
订单/库存/账户业务微服务准备
新建订单Order-Module——seata-order-service2001
https://www.yuque.com/mrlinxi/pxvr4g/nyye5k#H1EeW
新建库存Storage-Module——seata-storage-service2002
https://www.yuque.com/mrlinxi/pxvr4g/nyye5k#paxia
新建账户Account-Module——seata-account-service2003
https://www.yuque.com/mrlinxi/pxvr4g/nyye5k#iJET8
四、测试
Seata全局事务怎么使用
Spring提供的本地事务:@Transactional
Seata提供的全局事务:@GlobalTransactional
数据库初始情况
测试正常下单
启动nacos、seata、2001、2002、2003;
测试:http://localhost:2001/order/create?userId=1&productId=1&count=10&money=100
报错
java.sql.SQLException:Failed to fetch schema of `t_order`
在各微服务的application.yml 文件的spring.datasource.url 后面加上&useInformationSchema=false
设置useInformationSchema为false,即可解决该问题。
4.2 测试超时异常:不加@GlobalTransactional
AccountServiceImpl添加超时:
我们使用的是Openfeign,默认超时时长是1s,这里我们延迟30s。
数据库情况:
当库存和账户金额扣减后,订单状态并没有设置为已经完成,没有从零改为1;而且由于feign的重试机制,账户余额还有可能被多次扣减。
4.3 测试超时异常:加@GlobalTransactional
OrderServiceImpl添加@GlobalTransactional注解,注意改注解只能用在方法上!
- name:给定全局事务实例的名称,随便取,唯一即可
- rollbackFor:当发生什么样的异常时,进行回滚
- noRollbackFor:发生什么样的异常不进行回滚。
package com.atguigu.cloudalibaba.service.Impl;
import com.atguigu.cloudalibaba.dao.OrderDao;
import com.atguigu.cloudalibaba.domain.Order;
import com.atguigu.cloudalibaba.service.AccountService;
import com.atguigu.cloudalibaba.service.OrderService;
import com.atguigu.cloudalibaba.service.StorageService;
import io.seata.spring.annotation.GlobalTransactional;
import lombok.extern.slf4j.Slf4j;
import org.springframework.stereotype.Service;
import javax.annotation.Resource;
@Service
@Slf4j
public class OrderServiceImpl implements OrderService {
@Resource
private OrderDao orderDao;
@Resource
private StorageService storageService;
@Resource
private AccountService accountService;
/**
* 创建订单->调用库存服务扣减库存->调用账户服务扣减账户余额->修改订单状态
* 简单说:
* 下订单->减库存->减余额->改状态
*/
@Override
//全局事务,发生异常进行回滚
@GlobalTransactional(name = "lsp-create-order", rollbackFor = Exception.class)
public void create(Order order) {
log.info("------->下单开始");
//本应用创建订单
orderDao.create(order);
//远程调用库存服务扣减库存
log.info("------->订单微服务调用库存微服务,扣减库存开始");
storageService.decrease(order.getProductId(),order.getCount());
log.info("------->订单微服务调用库存微服务,扣减库存结束");
//远程调用账户服务扣减余额
log.info("------->订单微服务调用账户微服务,扣减余额开始");
accountService.decrease(order.getUserId(),order.getMoney());
log.info("------->订单微服务调用账户微服务,减余额结束");
//修改订单状态为已完成
log.info("------->order-service中修改订单状态开始");
// 这里的话是不是应该是orderId?
orderDao.update(order.getUserId(),0);
log.info("------->order-service中修改订单状态结束");
log.info("------->下单结束");
}
}
测试:
依然超时异常
我们发现数据库中的数据根本就没有变化,记录都添加不进来,说明回滚成功!
4.4 小结
做好配置后,我们只需要使用一个 @GlobalTransactional(name = "lsp-create-order", rollbackFor = Exception.class) 放在业务的入口,即可实现控制全局的事务。注意该注解只能放在方法上。
seata原理补充
5.0 undo_log表的作用
模块内方法也可以加@Transactional注解,如果一个模块的事务提交了,Seata会把提交了哪些数据记录到undo_log表中,如果这时TC通知全局事务回滚,那么RM就从undo_log表中获取之前修改了哪些资源,并根据这个表回滚。
5.1 再看TC/TM/RM三大组件
TC:seata服务器; (我们电脑上启动的seata )
TM:事物的发起者,业务的入口。 哪个微服务使用了@GlobalTransactional哪个就是TM
RM:事务的参与者,一个数据库就是一个RM。
分布式事务的执行流程:
- TM 开启分布式事务(TM 向 TC 注册全局事务记录);
- 按业务场景,编排数据库、服务等事务内资源(RM 向 TC 汇报资源准备状态 );
- TM 结束分布式事务,事务一阶段结束(TM 通知 TC 提交/回滚分布式事务);
- TC 汇总事务信息,决定分布式事务是提交还是回滚;
- TC 通知所有 RM 提交/回滚 资源,事务二阶段结束。
AT模式(默认)如何做到对业务的无侵入
Seata有四大模式:AT(默认)、TCC、SAGA、XA。(阿里云上的AT叫做GTS,收费)
http://seata.io/zh-cn/docs/dev/mode/at-mode.html
- 一阶段:业务数据和回滚日志记录在同一个本地事务中提交,释放本地锁和连接资源。
- 二阶段:
- 提交异步化,非常快速地完成。
- 回滚通过一阶段的回滚日志进行反向补偿。
每个数据库除了自身存储数据的表以外,都会有一个事务回滚表:undo_log
一阶段加载
在一阶段,Seata 会拦截“业务 SQL”,
1 解析 SQL 语义,找到“业务 SQL”要更新的业务数据,在业务数据被更新前,将其保存成“before image”(前置镜像)
2 执行“业务 SQL”更新业务数据,在业务数据更新之后,
3 其保存成“after image”,最后生成行锁。
以上操作全部在一个数据库事务内完成,这样保证了一阶段操作的原子性。
二阶段提交
因为“业务 SQL”在一阶段已经提交至数据库,二阶段如果顺利提交的话,那么Seata框架只需将一阶段保存的快照数据和行锁删掉,完成数据清理即可。
二阶段回滚
二阶段如果是回滚的话,Seata 就需要回滚一阶段已经执行的“业务 SQL”,还原业务数据。
回滚方式便是用“before image”还原业务数据;但在还原前要首先要校验脏写,对比“数据库当前业务数据”和 “after image”。如果两份数据完全一致就说明没有脏写,可以还原业务数据,如果不一致就说明有脏写,出现脏写就需要转人工处理。
debug查看流程
最开是seata库中的三张表是没有数据的
2003打上断点,debug启动
访问http://localhost:2001/order/create?userId=1&productId=1&count=10&money=100。
此时seata库中的三个表都是有数据的:
看一下branch_table,记录了各个RM的信息,分别对应order、storage、account三个微服务
可以看到xid跟global_table中的xid一致。
再看global_table
查看lock_table:
查看各业务中的undo_log表:
rollback_info是JSON字符串,存储了beforeimage、afterimage:
{
"@class": "io.seata.rm.datasource.undo.BranchUndoLog",
"xid": "192.168.190.1:8091:2090602861",
"branchId": 2090602864,
"sqlUndoLogs": [
"java.util.ArrayList",
[
{
"@class": "io.seata.rm.datasource.undo.SQLUndoLog",
"sqlType": "INSERT",
"tableName": "`t_order`",
"beforeImage": {
"@class": "io.seata.rm.datasource.sql.struct.TableRecords$EmptyTableRecords",
"tableName": "`t_order`",
"rows": [
"java.util.ArrayList",
[]
]
},
"afterImage": {
"@class": "io.seata.rm.datasource.sql.struct.TableRecords",
"tableName": "`t_order`",
"rows": [
"java.util.ArrayList",
[
{
"@class": "io.seata.rm.datasource.sql.struct.Row",
"fields": [
"java.util.ArrayList",
[
{
"@class": "io.seata.rm.datasource.sql.struct.Field",
"name": "id",
"keyType": "PrimaryKey",
"type": -5,
"value": [
"java.lang.Long",
10
]
},
{
"@class": "io.seata.rm.datasource.sql.struct.Field",
"name": "user_id",
"keyType": "NULL",
"type": -5,
"value": [
"java.lang.Long",
1
]
},
{
"@class": "io.seata.rm.datasource.sql.struct.Field",
"name": "product_id",
"keyType": "NULL",
"type": -5,
"value": [
"java.lang.Long",
1
]
},
{
"@class": "io.seata.rm.datasource.sql.struct.Field",
"name": "count",
"keyType": "NULL",
"type": 4,
"value": 10
},
{
"@class": "io.seata.rm.datasource.sql.struct.Field",
"name": "money",
"keyType": "NULL",
"type": 3,
"value": [
"java.math.BigDecimal",
100
]
},
{
"@class": "io.seata.rm.datasource.sql.struct.Field",
"name": "status",
"keyType": "NULL",
"type": 4,
"value": 0
}
]
]
}
]
]
}
}
]
]
}
查看seata_storage库中的undo_log表的roobal_info信息,可以看到beforeimage和afterimage分别保存了修改前后的信息。
debug放行,seata库中表中的中间数据和undo_log表的数据都删除了。(我的seata_account表的undo_log中没有被删除,等了半天也没有。)异步任务阶段的分支提交请求将异步和批量地删除相应的undo_log记录。
发现account2003微服务的日志跟2001和2002都不一样