SpringCloud:Seata处理分布式事务

 

分布式事务问题

只要用到分布式,必然会提及分布式的事务。

在使用分布式之后,单体应用被拆分成微服务应用,原来的三个模块被拆分成三个独立的应用,分别使用三个独立的数据源。
业务操作需要调用三个服务来完成。此时每个服务内部的数据一致性由本地事务来保证,但是全局的数据一致性问题没法保证

一句话:一次业务操作需要跨多个数据源或需要跨多个系统进行远程调用,就会产生分布式事务问题。

1.Seata简介与安装

官网:http://seata.io/zh-cn/

Seata是一款开源的分布式事务解决方案,致力于在微服务架构下提供高性能和简单易用的分布式事务服务。

1.1 相关术语

一个典型的分布式事务过程,可以用分布式处理过程的一ID+三组件模型来描述。
一ID(全局唯一的事务ID):Transaction ID XID,在这个事务ID下的所有事务会被统一控制
三组件:

  • Transaction Coordinator (TC):事务协调器,维护全局事务的运行状态,负责协调并驱动全局事务的提交或回滚;(Server端,为单独服务器部署)
  • Transaction Manager (TM):事务管理器,控制全局事务的边界,负责开启一个全局事务,并最终发起全局提交或全局回滚的决议;
  • Resource Manager (RM):资源管理器,控制分支事务,负责分支注册、状态汇报,并接收事务协调器的指令,驱动分支(本地)事务的提交和回滚
  • Seata分TC、TM和RM三个角色,TC(Server端)为单独服务端部署TM和RM(Client端)由业务系统集成(微服务)

1.2 典型的分布式控制事务流程

  1. TM 向 TC 申请开启一个全局事务,全局事务创建成功并生成一个全局唯一的 XID;
  2. XID 在微服务调用链路的上下文中传播;(也就是在多个TM,RM中传播)
  3. RM 向 TC 注册分支事务,将其纳入 XID 对应全局事务的管辖;
  4. TM 向 TC 发起针对 XID 的全局提交或回滚决议;
  5. TC 调度 XID 下管辖的全部分支事务完成提交或回滚请求。

1.3 Seata-Server的下载与配置

1.4.2版本:下载地址

0. 启动nacos

启动nacos,新建一个命名空间seata用于存放seata的配置信息。

注意这里的命名空间ID,后面会用到。这里不新建也可以,seata使用的是public。
我们使用nacos充当seata的注册中心和配置中心!

1. 修改配置文件

①进入conf文件夹,修改file.conf文件

mode=“file” 改为 db

修改数据库信息

数据库驱动和链接案例

jdbc:mysql://127.0.0.1:3306/seata?useUnicode=true&characterEncoding=utf-8&useSSL=false&nullCatalogMeansCurrent=true&serverTimezone=UTC

com.mysql.cj.jdbc.Driver

 

②修改conf\registry.conf文件

思考:这里我们把seata-server端的config设置为了nacos,那么是不是第一步的file.conf文件就不再需要了。因为直接从nacos读取配置?

2. 将配置导入到nacos

在conf文件夹下,需要有个nacos-config.sh文件,这个文件1.4.2版本没有。

可以在README-zh.md文件中访问config-center超链接(https://github.com/seata/seata/tree/develop/script/config-center),nacos文件夹下:

② config.txt准备及修改

在seate根目录下还需要一个config.txt文件(和bin,conf 一个目录下),1.4.2版本同样没有,还是去README里面的config-center超链接。

修改config.txt文件中的内容,主要是下面这几项:

改为使用db存储:

③ 导入seata相应的配置项到Nacos

config.txt就是seata各种详细的配置,执行nacos-config.sh即可将这些配置导入到nacos。这样就不需要将file.conf和registry.conf放到我们的项目中了,需要什么配置就直接从nacos中读取。

然后执行:

sh nacos-config.sh -h localhost -p 8848 -g SEATA_GROUP -t c07ff266-2233-43f0-8b52-d9832b0c78ce -u nacos -w nacos

注:h表示nacos的地址,p表示端口号,g表示配置的分组,t表示命名空间的ID,u跟w表示nacos的账户密码。如果没有设置命名空间,而且都是默认选项直接 sh nacos-config.sh -h localhost就行。

可以看到共103项,导入失败4项,就是上面没有值的那四项(不影响,如果用到直接在nacos里面新建配置即可)

可以看到,nacos的seata命名空间中已经导入了配置项。(seata命名空间是我自己创建的,可以按自己的需求创建,不创建默认的就是public。)

3. 数据库中建库建表

我们先创建数据库seata1_4_2(数据库要与config.txt中db设置那里对应),数据库的建表语句在README文件的server连接中:

然后执行mysql.sql(1.4.2多了个distributed_lock表,和一些插入语句)

这四张表跟config.txt文件中的配置对应

4. 启动seata

运行bin目录下的seata-server.bat。
出现下面字段表示seata启动成功。seata启动日志在C:\Users\admin\logs\seata文件夹下。

nacos中在seata命名空间内也成功注册,注意这里服务名对应的是registry.conf文件中nacos下面application的值。

订单/库存/账户业务数据库准备

2.1 分布式事务业务说明

这里我们会创建三个服务,一个订单服务,一个库存服务,一个账户服务。
当用户下单时,会在订单服务中创建一个订单,然后通过远程调用库存服务来扣减下单商品的库存,再通过远程调用账户服务来扣减用户账户里面的余额,最后在订单服务中修改订单状态为已完成。
该操作跨越三个数据库,有两次远程调用,很明显会有分布式事务问题。
下订单--->扣库存--->减账户(余额)

2.2 创建业务数据库与表

1. 创建业务数据库

seata_order:存储订单的数据库;
seata_storage:存储库存的数据库;
seata_account:存储账户信息的数据库。

CREATE DATABASE seata_order;
 CREATE DATABASE seata_storage;
 CREATE DATABASE seata_account;

2. 按照上述3库分别创建对应业务表

seata_order库下建t_order表

CREATE TABLE seata_order.`t_order` (
  `id` BIGINT(11) NOT NULL AUTO_INCREMENT PRIMARY KEY,
  `user_id` BIGINT(11) DEFAULT NULL COMMENT '用户id',
  `product_id` BIGINT(11) DEFAULT NULL COMMENT '产品id',
  `count` INT(11) DEFAULT NULL COMMENT '数量',
  `money` DECIMAL(11,0) DEFAULT NULL COMMENT '金额',
  `status` INT(1) DEFAULT NULL COMMENT '订单状态:0:创建中;1:已完结' 
) ENGINE=INNODB AUTO_INCREMENT=7 DEFAULT CHARSET=utf8;

 

seata_storage库下建t_storage 表
折叠内容
CREATE TABLE `seata_storage`.`t_storage` (
 `id` BIGINT(11) NOT NULL AUTO_INCREMENT PRIMARY KEY,
 `product_id` BIGINT(11) DEFAULT NULL COMMENT '产品id',
 `total` INT(11) DEFAULT NULL COMMENT '总库存',
 `used` INT(11) DEFAULT NULL COMMENT '已用库存',
 `residue` INT(11) DEFAULT NULL COMMENT '剩余库存'
) ENGINE=INNODB AUTO_INCREMENT=2 DEFAULT CHARSET=utf8;
 
 
INSERT INTO seata_storage.t_storage(`id`, `product_id`, `total`, `used`, `residue`)
VALUES ('1', '1', '100', '0', '100');
seata_account库下建t_account 表

CREATE TABLE `seata_account`.t_account (
  `id` BIGINT(11) NOT NULL AUTO_INCREMENT PRIMARY KEY COMMENT 'id',
  `user_id` BIGINT(11) DEFAULT NULL COMMENT '用户id',
  `total` DECIMAL(10,0) DEFAULT NULL COMMENT '总额度',
  `used` DECIMAL(10,0) DEFAULT NULL COMMENT '已用余额',
  `residue` DECIMAL(10,0) DEFAULT '0' COMMENT '剩余可用额度'
) ENGINE=INNODB AUTO_INCREMENT=2 DEFAULT CHARSET=utf8;
 
INSERT INTO seata_account.t_account(`id`, `user_id`, `total`, `used`, `residue`)  VALUES ('1', '1', '1000', '0', '1000');

 

3. 按照上述3库分别建对应的回滚日志表

订单-库存-账户3个库下都需要建各自的回滚日志表,\seata-server-0.9.0\seata\conf目录下的db_undo_log.sql;1.4.2版本的在README_ZH文件中的client:

此sql三个库都执行一遍

DROP TABLE IF EXISTS `undo_log`;
CREATE TABLE IF NOT EXISTS `undo_log`
(
    `branch_id`     BIGINT       NOT NULL COMMENT 'branch transaction id',
    `xid`           VARCHAR(128) NOT NULL COMMENT 'global transaction id',
    `context`       VARCHAR(128) NOT NULL COMMENT 'undo_log context,such as serialization',
    `rollback_info` LONGBLOB     NOT NULL COMMENT 'rollback info',
    `log_status`    INT(11)      NOT NULL COMMENT '0:normal status,1:defense status',
    `log_created`   DATETIME(6)  NOT NULL COMMENT 'create datetime',
    `log_modified`  DATETIME(6)  NOT NULL COMMENT 'modify datetime',
    UNIQUE KEY `ux_undo_log` (`xid`, `branch_id`)
) ENGINE = InnoDB
  AUTO_INCREMENT = 1
  DEFAULT CHARSET = utf8 COMMENT ='AT transaction mode undo table';

 

订单/库存/账户业务微服务准备

新建订单Order-Module——seata-order-service2001

https://www.yuque.com/mrlinxi/pxvr4g/nyye5k#H1EeW

新建库存Storage-Module——seata-storage-service2002

https://www.yuque.com/mrlinxi/pxvr4g/nyye5k#paxia

新建账户Account-Module——seata-account-service2003

https://www.yuque.com/mrlinxi/pxvr4g/nyye5k#iJET8

四、测试

Seata全局事务怎么使用

Spring提供的本地事务:@Transactional
Seata提供的全局事务:@GlobalTransactional

数据库初始情况

测试正常下单

启动nacos、seata、2001、2002、2003;
测试:http://localhost:2001/order/create?userId=1&productId=1&count=10&money=100

报错
java.sql.SQLException:Failed to fetch schema of `t_order`

在各微服务的application.yml 文件的spring.datasource.url 后面加上&useInformationSchema=false 设置useInformationSchema为false,即可解决该问题。

4.2 测试超时异常:不加@GlobalTransactional

AccountServiceImpl添加超时:

我们使用的是Openfeign,默认超时时长是1s,这里我们延迟30s。

数据库情况:

当库存和账户金额扣减后,订单状态并没有设置为已经完成,没有从零改为1;而且由于feign的重试机制,账户余额还有可能被多次扣减。

4.3 测试超时异常:加@GlobalTransactional

OrderServiceImpl添加@GlobalTransactional注解,注意改注解只能用在方法上!

  • name:给定全局事务实例的名称,随便取,唯一即可
  • rollbackFor:当发生什么样的异常时,进行回滚
  • noRollbackFor:发生什么样的异常不进行回滚。
OrderServiceImpl

package com.atguigu.cloudalibaba.service.Impl;

import com.atguigu.cloudalibaba.dao.OrderDao;
import com.atguigu.cloudalibaba.domain.Order;
import com.atguigu.cloudalibaba.service.AccountService;
import com.atguigu.cloudalibaba.service.OrderService;
import com.atguigu.cloudalibaba.service.StorageService;
import io.seata.spring.annotation.GlobalTransactional;
import lombok.extern.slf4j.Slf4j;
import org.springframework.stereotype.Service;

import javax.annotation.Resource;

@Service
@Slf4j
public class OrderServiceImpl implements OrderService {
    @Resource
    private OrderDao orderDao;

    @Resource
    private StorageService storageService;

    @Resource
    private AccountService accountService;

    /**
     * 创建订单->调用库存服务扣减库存->调用账户服务扣减账户余额->修改订单状态
     * 简单说:
     * 下订单->减库存->减余额->改状态
     */
    @Override
    //全局事务,发生异常进行回滚
    @GlobalTransactional(name = "lsp-create-order", rollbackFor = Exception.class)
    public void create(Order order) {
        log.info("------->下单开始");
        //本应用创建订单
        orderDao.create(order);

        //远程调用库存服务扣减库存
        log.info("------->订单微服务调用库存微服务,扣减库存开始");
        storageService.decrease(order.getProductId(),order.getCount());
        log.info("------->订单微服务调用库存微服务,扣减库存结束");

        //远程调用账户服务扣减余额
        log.info("------->订单微服务调用账户微服务,扣减余额开始");
        accountService.decrease(order.getUserId(),order.getMoney());
        log.info("------->订单微服务调用账户微服务,减余额结束");

        //修改订单状态为已完成
        log.info("------->order-service中修改订单状态开始");
        // 这里的话是不是应该是orderId?
        orderDao.update(order.getUserId(),0);
        log.info("------->order-service中修改订单状态结束");

        log.info("------->下单结束");
    }
}

 

测试:
依然超时异常

我们发现数据库中的数据根本就没有变化,记录都添加不进来,说明回滚成功!

4.4 小结

做好配置后,我们只需要使用一个 @GlobalTransactional(name = "lsp-create-order", rollbackFor = Exception.class) 放在业务的入口,即可实现控制全局的事务。注意该注解只能放在方法上。

seata原理补充

5.0 undo_log表的作用

模块内方法也可以加@Transactional注解,如果一个模块的事务提交了,Seata会把提交了哪些数据记录到undo_log表中,如果这时TC通知全局事务回滚,那么RM就从undo_log表中获取之前修改了哪些资源,并根据这个表回滚。

5.1 再看TC/TM/RM三大组件

TC:seata服务器; (我们电脑上启动的seata )
TM:事物的发起者,业务的入口。 哪个微服务使用了@GlobalTransactional哪个就是TM
RM:事务的参与者,一个数据库就是一个RM。

分布式事务的执行流程:

  1. TM 开启分布式事务(TM 向 TC 注册全局事务记录);
  2. 按业务场景,编排数据库、服务等事务内资源(RM 向 TC 汇报资源准备状态 );
  3. TM 结束分布式事务,事务一阶段结束(TM 通知 TC 提交/回滚分布式事务);
  4. TC 汇总事务信息,决定分布式事务是提交还是回滚;
  5. TC 通知所有 RM 提交/回滚 资源,事务二阶段结束。

AT模式(默认)如何做到对业务的无侵入

Seata有四大模式:AT(默认)、TCC、SAGA、XA。(阿里云上的AT叫做GTS,收费)

http://seata.io/zh-cn/docs/dev/mode/at-mode.html

  • 一阶段:业务数据和回滚日志记录在同一个本地事务中提交,释放本地锁和连接资源。
  • 二阶段:
    • 提交异步化,非常快速地完成。
    • 回滚通过一阶段的回滚日志进行反向补偿。

每个数据库除了自身存储数据的表以外,都会有一个事务回滚表:undo_log

一阶段加载

在一阶段,Seata 会拦截“业务 SQL”,
1 解析 SQL 语义,找到“业务 SQL”要更新的业务数据,在业务数据被更新前,将其保存成“before image”(前置镜像)
2 执行“业务 SQL”更新业务数据,在业务数据更新之后,
3 其保存成“after image”,最后生成行锁。
以上操作全部在一个数据库事务内完成,这样保证了一阶段操作的原子性。

二阶段提交

因为“业务 SQL”在一阶段已经提交至数据库,二阶段如果顺利提交的话,那么Seata框架只需将一阶段保存的快照数据和行锁删掉,完成数据清理即可。

二阶段回滚

二阶段如果是回滚的话,Seata 就需要回滚一阶段已经执行的“业务 SQL”,还原业务数据。
回滚方式便是用“before image”还原业务数据;但在还原前要首先要校验脏写,对比“数据库当前业务数据”和 “after image”。如果两份数据完全一致就说明没有脏写,可以还原业务数据,如果不一致就说明有脏写,出现脏写就需要转人工处理。

debug查看流程

最开是seata库中的三张表是没有数据的

2003打上断点,debug启动

访问http://localhost:2001/order/create?userId=1&productId=1&count=10&money=100。

此时seata库中的三个表都是有数据的:

看一下branch_table,记录了各个RM的信息,分别对应order、storage、account三个微服务

可以看到xid跟global_table中的xid一致。

再看global_table

查看lock_table:

查看各业务中的undo_log表:

rollback_info是JSON字符串,存储了beforeimage、afterimage:

JSON

{
  "@class": "io.seata.rm.datasource.undo.BranchUndoLog",
  "xid": "192.168.190.1:8091:2090602861",
  "branchId": 2090602864,
  "sqlUndoLogs": [
    "java.util.ArrayList",
    [
      {
        "@class": "io.seata.rm.datasource.undo.SQLUndoLog",
        "sqlType": "INSERT",
        "tableName": "`t_order`",
        "beforeImage": {   
          "@class": "io.seata.rm.datasource.sql.struct.TableRecords$EmptyTableRecords",
          "tableName": "`t_order`",
          "rows": [
            "java.util.ArrayList",
            []
          ]
        },
        "afterImage": {
          "@class": "io.seata.rm.datasource.sql.struct.TableRecords",
          "tableName": "`t_order`",
          "rows": [
            "java.util.ArrayList",
            [
              {
                "@class": "io.seata.rm.datasource.sql.struct.Row",
                "fields": [
                  "java.util.ArrayList",
                  [
                    {
                      "@class": "io.seata.rm.datasource.sql.struct.Field",
                      "name": "id",
                      "keyType": "PrimaryKey",
                      "type": -5,
                      "value": [
                        "java.lang.Long",
                        10
                      ]
                    },
                    {
                      "@class": "io.seata.rm.datasource.sql.struct.Field",
                      "name": "user_id",
                      "keyType": "NULL",
                      "type": -5,
                      "value": [
                        "java.lang.Long",
                        1
                      ]
                    },
                    {
                      "@class": "io.seata.rm.datasource.sql.struct.Field",
                      "name": "product_id",
                      "keyType": "NULL",
                      "type": -5,
                      "value": [
                        "java.lang.Long",
                        1
                      ]
                    },
                    {
                      "@class": "io.seata.rm.datasource.sql.struct.Field",
                      "name": "count",
                      "keyType": "NULL",
                      "type": 4,
                      "value": 10
                    },
                    {
                      "@class": "io.seata.rm.datasource.sql.struct.Field",
                      "name": "money",
                      "keyType": "NULL",
                      "type": 3,
                      "value": [
                        "java.math.BigDecimal",
                        100
                      ]
                    },
                    {
                      "@class": "io.seata.rm.datasource.sql.struct.Field",
                      "name": "status",
                      "keyType": "NULL",
                      "type": 4,
                      "value": 0
                    }
                  ]
                ]
              }
            ]
          ]
        }
      }
    ]
  ]
}

查看seata_storage库中的undo_log表的roobal_info信息,可以看到beforeimage和afterimage分别保存了修改前后的信息。

debug放行,seata库中表中的中间数据和undo_log表的数据都删除了。(我的seata_account表的undo_log中没有被删除,等了半天也没有。)异步任务阶段的分支提交请求将异步和批量地删除相应的undo_log记录。
发现account2003微服务的日志跟2001和2002都不一样

5.4 整体流程图

阅读剩余
THE END