|
|
DataY 是一套开源、轻量的一体化数据平台，理念很简单：
•
传统数据平台往往需要 Hadoop、Spark、Flink、ClickHouse 一整套组件，几十台机器起步，运维门槛高。DataY 选择另一条路：
•
一个 JAR，自研流批一体处理引擎，拒绝组件地狱；
•
2 核 4G 就能跑通数据集成 → 数据建模 → 数据开发 → 任务调度 → 数据应用；
•
零依赖启动，10 分钟搭好开发环境；
•
调度 master 与执行 worker 可分可合，单机和集群同一套代码；
•
内嵌 DuckDB 作为高性能分析引擎，同时支持 Doris、ClickHouse 等外部分析引擎。
这里的“轻量”指的是运行资源门槛低，不是能力轻量。
•
DataY 由两块组成：
模块
定位
说明
DataY Core
数据集成引擎
轻量、可嵌入、可扩展、流批一体；JSON 定义任务、自动建表、CDC 实时同步；可脱离 Web 独立运行或嵌入 Java 应用
DataY Web
可视化数据平台
拖拽式任务设计、任务调度、维度建模、指标管理、智能问数
•
相关的能力：
•
🔌 多数据源：MySQL / PostgreSQL / Oracle / SQL Server / SAP HANA / Doris / ClickHouse / DuckDB 等二十余种数据源；
•
🔄 四种 CDC：MySQL Binlog、PostgreSQL WAL、Oracle LogMiner、MongoDB Change Streams；
•
🧩 统一组件模型：Source / Operator / Sink，批流共用；
•
🛡️ 断点续传：Binlog 位点、LSN、SCN、resumeToken 统一持久化；
•
🏗️ 自动建表：跨库 DDL 转换，表不存在时自动创建；
•
🚀 Doris 流式写入：内置 DorisStreamLoad，支持 insert / delete / overwrite；
•
🧮 流内计算：StreamSQL、Join、Lookup、DataTransform，同步路上顺手把数据加工好；
•
⏰ 任务调度：Quartz Cron 精确到秒，DAG 拓扑编排，master/worker 可分离；
•
🤖 MCP Harness：把数据源、数据服务、ETL 任务、数据模型暴露给 AI Agent，让 Agent 直接操作平台对象；
•
📦 可嵌入：Core 可以作为 Java 库，嵌进你自己的应用。
•
快速开始：
- git clone https://gitee.com/yuyuejia/datay.git
- cd datay
- mvn clean package -DskipTests
- java -jar datay-web/target/*.jar --DATAY_AI_API_KEY=sk-xxxxxxxxx
- # 浏览器打开 http://localhost:8080，默认账号 admin/admin
•
也可以只用 Core 跑单个任务：
- java -jar datay-core/target/datay-core-*-jar-with-dependencies.jar taskConfig.json
•
产品首页：http://datay.yuyuejia.com.cn/
在线体验：http://datay-demo.yuyuejia.com.cn/
项目地址：https://gitee.com/yuyuejia/datay
DataY 想做的，不是再堆一套大数据组件，而是把数据集成、建模、调度、数仓和问数，收进一个足够轻的平台上。
更新内容
•
chore：发布 1.0.5 版本
•
chore(license): 打包时随附 NOTICE 声明 Eclipse Paho BSD 许可
•
fix(security): 放行 content/images 下所有静态图片
•
docs: 新增 MySQL CDC 到 Doris 聚合模型验证文章
•
fix(etl): DorisStreamLoad 按目标列类型规范化 CDC 数据
•
feat(etl): StreamJdbcInput where 条件支持动态参数
•
feat(embed): 支持 iframe 免登录嵌入与主应用路由
•
docs: 新增流式计算流程设计文章
•
feat(etl): 新增 SqlSink 组件并支持 JDBC 参数绑定
•
refactor(core): 移除流式查询 SQL 中的 bip_streaming_export 注释
•
feat(etl): StreamJdbcOutput 配置界面增加字段映射
•
feat(mcp): 支持通过 MCP 调用数据服务
•
docs： 修改 README.md
•
fix(doris): 修复 Doris 建表、覆盖写与中文写入问题
•
fix: 修复 Windows 下文件管理路径重复嵌套的问题
•
feat(etl): 连线增加删除按钮
•
docs: 更新运行包下载地址
•
chore: 忽略本地 DuckLake 运行时数据文件
•
docs: 新增 DuckDB 跨库分析与数据处理公众号文章
•
feat: 支持 DuckDB/DuckLake catalog 浏览与 AI 元数据查询
•
docs: 新增 JDBCLookup 跨库补数公众号文章
•
test(core): 增加 JDBCLookup 真实 MySQL 跨库场景验证
•
feat(core): 新增 JDBCLookup 跨库关联查询组件
•
fix: 数据源变更时失效连接池并完善查询树错误态
•
fix(web): 修复数据查询 AI 助手抽屉被顶部菜单遮挡
•
docs: 补充 4G 单节点调度容量实测数据
•
docs： 代码组件介绍
•
feat: 调度并发数与 Quartz 线程数支持配置
•
feat：ETL 连线支持设置队列大小
•
fix: 修复 JWT 过期后无法重新登录的问题
•
fix: 修复 AI 看板数据集引用与维度去重
•
feat: 升级分析看板 v2 图表与查询能力
完整的更新日志: https://gitee.com/yuyuejia/datay/compare/v1.0.4...v1.0.5
原文链接 |
|
发表于