自然语言到 Spark Job 的端到端执行链路
自然语言输入是不确定的,Spark 作业执行却要求确定的表、字段、资源、状态和失败语义。系统不能把模型生成的任意代码直接执行,也不能把“生成了 SQL”包装成“作业已经成功”。
AI Agent 项目实战
2025-10-18 2234 字 约 7 分钟 41 访问量
自然语言到 Spark Job 的端到端执行链路

自然语言输入是不确定的,Spark 作业执行却要求确定的表、字段、资源、状态和失败语义。系统不能把模型生成的任意代码直接执行,也不能把“生成了 SQL”包装成“作业已经成功”。

more...
Cover Image of 自然语言到 Spark Job 的端到端执行链路
可组合 Skill 体系:把数据工程能力模块化
如果 SQL、ETL、清洗、质量、特征、执行和诊断全部写进一个 Agent Controller,新增能力会同时修改 Prompt、路由、执行和展示。Skill 体系的目标是把能力描述、计划节点和可信执行拆开,使每一层可以独立扩展和验证。
AI Agent 项目实战
2025-10-18 1407 字 约 4 分钟 45 访问量
可组合 Skill 体系:把数据工程能力模块化

如果 SQL、ETL、清洗、质量、特征、执行和诊断全部写进一个 Agent Controller,新增能力会同时修改 Prompt、路由、执行和展示。Skill 体系的目标是把能力描述、计划节点和可信执行拆开,使每一层可以独立扩展和验证。

more...
Cover Image of 可组合 Skill 体系:把数据工程能力模块化
Spark 执行与任务生命周期管理
Spark Job 是跨进程、长耗时、有外部 application id 的任务。一次 spark-submit 调用不能解决状态持久化、失败重试、服务重启恢复、取消和审计问题。
AI Agent 项目实战
2025-10-18 1303 字 约 4 分钟 39 访问量
Spark 执行与任务生命周期管理

Spark Job 是跨进程、长耗时、有外部 application id 的任务。一次 spark-submit 调用不能解决状态持久化、失败重试、服务重启恢复、取消和审计问题。

more...
Cover Image of Spark 执行与任务生命周期管理
DAG 观测与大数据性能诊断
Spark History Server 面向人工查看,Agent 则需要结构化事实。原始 Event Log 是逐事件 JSONL,Stage 完成信息和 Task 指标分散在不同记录中;
AI Agent 项目实战
2025-10-17 1178 字 约 3 分钟 43 访问量
DAG 观测与大数据性能诊断

Spark History Server 面向人工查看,Agent 则需要结构化事实。原始 Event Log 是逐事件 JSONL,Stage 完成信息和 Task 指标分散在不同记录中;

more...
Cover Image of DAG 观测与大数据性能诊断
项目初衷
AGI-吉尔伽美什是一个面向大数据工程和图计算场景的 TUI agent原型。它的核心不是“让用户学 Spark”,而是把 Spark、数据处理、图计算、向量知识库、任务编排这些能力沉到系统基建里,让用户用自然语言描述问题,系统自动判断要不
AI Agent 项目实战
2025-10-17 944 字 约 3 分钟 45 访问量
项目初衷

AGI-吉尔伽美什是一个面向大数据工程和图计算场景的 TUI agent原型。它的核心不是“让用户学 Spark”,而是把 Spark、数据处理、图计算、向量知识库、任务编排这些能力沉到系统基建里,让用户用自然语言描述问题,系统自动判断要不

more...
Cover Image of 项目初衷
前往/ 422 页
Profile Image of the Author
clxstart
技术需要沉淀
3855 文章
35 分类
656 标签
332633 总访问量
公告
站点公告

过度思考未来,无异于杀死现在的自己

站点统计
文章
3,855
分类
35
标签
656
总字数
12,954,924
题目
3,950
运行时长
433 天
最后活动
6 天前
日一二三四五六
分类
标签
聊天室
进入大聊天室
查看在线用户和完整聊天记录