文章
2976
标签
100
分类
63
首页
时间轴
标签
分类
知识库
关于
友链
Estom的博客
02 Notebook
返回首页
搜索
首页
时间轴
标签
分类
知识库
关于
友链
02 Notebook
发表于
2024-05-13
|
更新于
2024-05-13
|
人工智能
|
总字数:
42
|
阅读时长:
1分钟
|
浏览量:
kubeflow 简介
是什么
Kubeflow 项目致力于使 Kubernetes 上的机器学习 (ML) 工作流程部署变得简单、可移植且可扩展。
组件架构
文章作者:
Estom
文章链接:
https://estom.github.io/2024/05/12/%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD/kubeflow/02%20Notebook/
版权声明:
本博客所有文章除特别声明外,均采用
CC BY-NC-SA 4.0
许可协议。转载请注明来源
Estom的博客
!
上一篇
04 pipelines快速开始
1 如何创建一个pipelines部署pipelines安装pipelines sdk安装kfp的python组件 1$ pip install kfp --upgrade 导入kfp相关的包 12import kfpimport kfp.components as comp 创建管道 创建合并数据的业务组件 函数的参数用 kfp.components.InputPath和 kfp.components.OutputPath注释进行修饰。这些注释让 Kubeflow Pipelines 知道提供压缩 tar 文件的路径并创建函数存储合并的 CSV 文件的路径。 用于kfp.components.create_component_from_func 返回可用于创建管道步骤的工厂函数。此示例还指定了运行此函数的基础容器映像、保存组件规范的路径以及运行时需要在容器中安装的 PyPI 包的列表。 123456789101112131415161718def merge_csv(file_path: comp.InputPath('Tarball'), ...
下一篇
01 kubeflow
MLOps机器学习开发迭代3. 数据收集 a. 大数据量下的文件存储与读取 —— HDFS,NFS 等分布式文件存储系统; b. 非结构化数据 —— S3 等对象存储; c. 向量数据存储 —— milvus 等向量数据库; d. 数据的持续采集与入库 —— Kafka,RabbitMQ 等流式处理工具 ;4. 数据预处理 a. 清洗、格式化、规范化、脱敏 —— Python Pandas; b. 人工标记; c. 特征工程,“数据和特征决定了模型的上限,算法只是在帮忙逼近这个上限”5. 框架选择 a. 训练框架:PyTorch,TensorFlow,PaddlePaddle,……;6. 模型训练 a. 代码开发 —— Python IDE,Notebook; ⅰ. 开发阶段会采集小量的数据,经过小次数的迭代,用于正确性验证, Notebook 可以辅助验证; b. 训练 ⅰ. 本地/单节点/单机单卡/单机多卡/多机多卡 —— GPU 管理与调度 ⅱ. 任务调度/故障转移/check...
Estom
也许那年在绿色的麦浪中奔跑的时候,就注定了我此生的繁华与悲叹
文章
2976
标签
100
分类
63
关注
公告
欢迎参观Estom的小屋
目录
1.
kubeflow 简介
1.1.
是什么
1.2.
组件架构
最新文章
自引用泛型概述
2025-12-21
02 集合底层结构
2025-12-18
11 Arrays和Collections
2025-12-18
06 JUC并发容器
2025-12-18
30 问题排查和性能优化指南
2025-09-14
搜索
数据加载中