美团 java 数据流处理 - 搜索结果 - 知乎

数据库拆分一般是业务发展到一定规模后的优化和重构，为了支持业务快速上线，很难一开始就分库分表，垂直拆分还好办，改改数据源就搞定了，一旦开始水平拆分，数据清洗就是个大问题，为此，我们经历了以下几个阶段。

第一阶段

  • 数据库双写（事务成功以老模型为准），查询走老模型。
  • 每日job数据对账（通过DW），并将差异补平。
  • 通过job导历史数据。

第二阶段

  • 历史数据导入完毕并且数据对账无误。
  • 依然是数据库双写，但是事务成功与否以新模型为准，在线查询切新模型。
  • 每日job数据对账，将差异补平。

第三阶段

  • 老模型不再同步写入，仅当订单有终态时才会异步补上。
  • 此阶段只有离线数据依然依赖老的模型，并且下游的依赖非常多，待DW改造完就可以完全废除老模型了。

原网址: 访问
创建于: 2021-05-12 16:39:22
目录: default
标签: 无

未标明原创文章均为采集，版权归作者所有，转载无需和我联系，请注明原出处，南摩阿彌陀佛，知识，不只知道，要得到

请先后发表评论
  • 最新评论
  • 总共0条评论