Hey Friends 👋
贾明远
大数据开发工程师 / ETL 工程师 / 金融科技从业者。在这里分享数据工程与金融科技领域的实战经验。
数据湖仓一体：金融场景下的湖仓融合架构
过去十年，银行数据平台的架构经历了从"传统数仓"到"数据湖"再到"湖仓一体"的三次范式转移。传统数仓（如 Teradata、Greenplum）擅长结构化数据的规范化建模，但面对半结构化日志、图片、语音等非结构化数据时捉襟见肘；数据湖（如 HDFS + Parquet）虽然存储成本极低，但缺乏事务支...
ClickHouse金融实时分析：从入门到PB级生产实践
在银行的数据分析平台中，传统的 Hive + Presto 架构虽然能处理海量数据，但面对高管驾驶舱、实时风控看板、交易行为秒级分析等场景时，查询延迟从分钟级缩短到秒级甚至毫秒级成为刚性需求。ClickHouse 作为开源 OLAP 引擎的标杆，正在国内多家银行的 BI 和监控体系中大规模落地。
...
Flink流式计算在银行反欺诈系统中的应用
银行欺诈交易每年造成的直接损失以百亿计，而欺诈手段正从盗刷银行卡演进到 AI换脸远程开户和 AI语音模拟客服诈骗。传统的规则引擎和事后批处理模型已经难以应对，基于 Apache Flink 的实时流式计算成为新一代反欺诈系统的技术底座。
反欺诈系统的核心挑战
银行反欺诈面临的矛盾是：
1. ...
金融ETL性能优化：从小时到分钟的调优实战
在银行每天凌晨的 ETL 跑批窗口中，时间就是金钱。如果一套日终跑批作业从凌晨2点开始，到早上7点才完成，下游的报表团队、风控团队、客服团队都将无法按时开展工作。本文基于某大型商业银行 Spark ETL 集群的调优经验，系统梳理从 MapReduce 时代到 Spark 3.x 的优化方法论。
...
金融数据建模：从星型模型到Data Vault的演进
数据建模是数据工程的地基。在银行数据平台建设过程中，选择什么样的建模方法论，直接决定了后续 ETL 的复杂度、查询性能和扩展能力。本文从银行实际场景出发，对比 ER模型、星型模型、Data Vault 2.0 三种建模方法论的优劣与落地路径。
银行数据建模的特殊性
1. 业务域极其复杂：零售、...
银行监管报送自动化：从手工填报到工程化流水线
在银保监和人行的监管体系中，商业银行需要报送数十种、数百张报表。传统的手工填报模式不仅效率低下，而且极易出错。本文基于某全国性股份制银行从Excel+邮件进化为自动化数据工厂的历程，拆解监管报送工程化的完整路径。
五阶段演进模型
第一阶段：手工填报
从核心系统、信贷系统等分别导出 CSV，...
金融数据API网关设计：从烟囱到中台的API化之路
银行的数据系统长期处于烟囱式建设状态：每个业务系统各自建设数据库、各自暴露接口、各自维护权限。数据API网关的作用正是在这些烟囱之上架设统一的管道和收费站，实现数据资产的标准化、服务化、安全化输出。
API网关核心能力
1. 统一协议适配
银行内部既有 RESTful API，也有 gRP...
Apache Hudi在金融实时数仓增量更新场景的应用
在银行数据平台中，日终全量跑批是常态，但越来越多的业务场景需要准实时增量更新能力。例如：个人网银上的今日交易流水需要秒级可见；贷后系统中的合同状态变更后，风控标签必须即刻刷新。Apache Hudi 作为湖仓一体生态中支持增量更新的排头兵，正在国内多家银行的实时数仓建设中落地。
银行为什么需要 ...
银行数据一致性校验：从对账到自动修复的工程化方案
银行数据平台的核心资产是信任。当核心系统余额与数仓汇总不一致、当日交易流水与昨日报表对不上时，数据平台的公信力就会崩塌。数据一致性校验不是锦上添花，而是银行数据工程的底线要求。
银行常见的三种数据不一致场景
场景一：T+1 跑批对账差异
银行每日凌晨跑批后，数仓层计算的汇总指标与核心系统直...
数据中台指标体系设计：从业务需求到技术落地的完整路径
在银行数据平台建设过程中，指标体系建设往往是最核心也最容易出问题的环节。一个中大型银行通常有数千个指标，分散在各个业务部门、各张报表中，口径重叠、定义模糊、计算方式各异。数据中台的指标体系设计，本质上是在数千个指标的丛林中建立一套统一的分类、定义、计算和消费体系。
指标体系分类框架
按业务域...