Hey Friends 👋
贾明远
大数据开发工程师 / ETL 工程师 / 金融科技从业者。在这里分享数据工程与金融科技领域的实战经验。
最新文章
全部文章 → →
30天，1000张表逻辑迁移——AI辅助下的数据系统重建实录
30天，1000张表逻辑迁移——AI辅助下的数据系统重建实录 一、项目背景：为什么叫"逻辑迁移"而不是"系统搬家" 银行分行间的数据系统迁移，与应用端系统迁移有着本质区别。应用端迁移关注的是"把页面和接口搬到新环境"，而数据系统迁移的核心是"让成熟的加工逻辑在新数据源上跑通"。 ...
银行数据仓库分层设计：从ODS到DM的最佳实践
线上数据库性能瓶颈，十有八九源于索引设计不当。慢查询不仅拖垮应用响应，还会引发连接池耗尽与级联雪崩。本文通过一个真实电商订单场景，拆解从 3 秒慢查询到 50 毫秒响应的完整优化链路。 慢查询案例引入 某电商订单服务暴露一条典型慢查询： sql SELECT orderid, userid,...
金融级ETL调度系统设计：Airflow与DolphinScheduler的选型对比
在银行与金融科技公司的数据平台建设中，ETL调度系统是整个数据管道的心脏。它负责编排成百上千的数据抽取、转换、加载任务，确保凌晨窗口内完成从ODS到DM的全链路跑批。Apache Airflow 和 Apache DolphinScheduler 是当前国内最常见的两个开源方案，本文基于实际项目落地...
30天，1000张表逻辑迁移——AI辅助下的数据系统重建实录
30天，1000张表逻辑迁移——AI辅助下的数据系统重建实录
一、项目背景：为什么叫"逻辑迁移"而不是"系统搬家"
银行分行间的数据系统迁移，与应用端系统迁移有着本质区别。应用端迁移关注的是"把页面和接口搬到新环境"，而数据系统迁移的核心是"让成熟的加工逻辑在新数据源上跑通"。
...
银行数据仓库分层设计：从ODS到DM的最佳实践
线上数据库性能瓶颈，十有八九源于索引设计不当。慢查询不仅拖垮应用响应，还会引发连接池耗尽与级联雪崩。本文通过一个真实电商订单场景，拆解从 3 秒慢查询到 50 毫秒响应的完整优化链路。
慢查询案例引入
某电商订单服务暴露一条典型慢查询：
sql
SELECT orderid, userid,...
金融级ETL调度系统设计：Airflow与DolphinScheduler的选型对比
在银行与金融科技公司的数据平台建设中，ETL调度系统是整个数据管道的心脏。它负责编排成百上千的数据抽取、转换、加载任务，确保凌晨窗口内完成从ODS到DM的全链路跑批。Apache Airflow 和 Apache DolphinScheduler 是当前国内最常见的两个开源方案，本文基于实际项目落地...
Hive on Spark vs Spark SQL：银行大数据场景的引擎选型
在银行的大数据平台，Hive 元数据和 HiveQL 语法是事实标准的数仓语言层，但底层执行引擎经历了从 MapReduce 到 Tez、再到 Spark 的持续迭代。当前主流选择集中在 Hive on Spark 和原生 Spark SQL 两条路线。
银行场景下的计算特征
银行大数据平台处...
金融数据脱敏与加密：从合规到技术的全链路实践
在金融数据工程体系中，数据安全不是可选项，而是监管红线。《个人信息保护法》《数据安全法》《金融数据安全数据安全分级指南》等法规，对银行、保险、证券公司处理客户敏感信息提出了明确要求。
监管框架下的数据分级
根据中国人民银行金融数据安全分级指南，金融数据分为五个安全级别：
| 级别 | 定义 ...
银行核心系统数据迁移：如何保证「零差错」？
银行核心系统的数据迁移，被称为"数据工程领域中风险最高的任务"。一个客户的账户余额如果差了一分钱，可能引发挤兑恐慌；一条贷款状态的错配，可能导致司法纠纷。
核心系统数据迁移的复杂性
1. 数据体量大：核心系统往往积累20年以上的历史数据，单表数十亿行
2. 关联关系深：客户、账户、交易、合约、...
Kafka实时数据管道：银行流式ETL落地实践
在银行的数字化运营中，实时数据能力正从"加分项"变为"刚需"。客户的一笔网银转账完成后，风控系统需在毫秒级判断风险；交易大厅的监控大屏需要秒级刷新关键指标。支撑这些场景的背后，是一套基于 Kafka 的实时数据管道。
银行流式场景的"不可能三角"
流式数据处理在金融场景下面临严苛的约束：
1...
CDC数据捕获技术：Debezium在金融系统的应用
CDC（Change Data Capture，变更数据捕获）是连接传统关系型数据库与实时数据流的关键桥梁。在银行核心系统中，Oracle、DB2、TDSQL 等存量数据库每天承载着数千万笔交易，如何在不侵入业务代码的前提下，将这些变更实时同步到数据湖仓，是每位数据工程师必须掌握的技术。
为什么...
金融数据质量管理：从「脏数据」到可信数据资产
在银行数据平台运营中，"脏数据"的成本往往被严重低估。一份错误的客户地址可能导致信用卡无法寄达；一条错误的资产分类可能引发监管报送数据"失真"，进而触发银保监约谈。数据质量管理（DQM）是金融数据从"成本中心"转变为"可信资产"的必经之路。
金融数据的六大质量维度
根据 DAMADMBOK 数...
数据血缘追踪技术：Apache Atlas在银行数仓的落地
当银保监发出问询函，要求某家银行解释"流动性覆盖率"报表中某一金额的计算来源时，如果数据团队无法在2小时内给出从原始交易明细到最终报表指标的完整链路说明，将面临严重的合规风险。数据血缘（Data Lineage）正是解决这一问题的关键技术。Apache Atlas 作为开源数据治理和血缘平台，已在国...
1 / 3
下一页 »