Estom的博客

https://blog.csdn.net/muyao987/article/details/125411129 安装1pip install evaluate 检查是否安装成功 12python -c "import evaluate; print(evaluate.load('accuracy').compute(references=[1], predictions=[1]))" load加载评估指标 evaluate中的每个指标都是一个单独的Python模块，通过 evaluate.load()（点击查看文档） 函数快速加载，其中load函数的常用参数如下： path：必选，str类型。可以是指标名（如 accuracy 或 社区的铁汁们贡献 的 muyaostudio/myeval），如果源码安装还可以是路径名（如./metrics/rouge 或 ./metrics/rogue/rouge.py）。我用的后者，因为直接传指标名会联网下载评价脚本，但单位的网不给力。...

kubectl port-forward 允许使用资源名称 （例如 Pod 名称）来选择匹配的 Pod 来进行端口转发 将 mongo-75f59d57f4-4nd6q 改为 Pod 的名称kubectl port-forward mongo-75f59d57f4-4nd6q 28015:27017 这相当于 kubectl port-forward pods/mongo-75f59d57f4-4nd6q 28015:27017或者 kubectl port-forward deployment/mongo 28015:27017或者 kubectl port-forward replicaset/mongo-75f59d57f4 28015:27017或者 kubectl port-forward service/mongo 28015:27017 以上所有命令都有效。输出类似于： Forwarding from 127.0.0.1:28015 -> 27017Forwarding from [::1]:28015 -> 27...

鉴权说明简介启用RBAC，需要在 apiserver 中添加参数–authorization-mode=RBAC API Server目前支持以下几种授权策略： AlwaysDeny：表示拒绝所有请求，一般用于测试。 AlwaysAllow：允许接收所有请求。 如果集群不需要授权流程，则可以采用该策略，这也是Kubernetes的默认配置。 ABAC（Attribute-Based Access Control）：基于属性的访问控制。 表示使用用户配置的授权规则对用户请求进行匹配和控制。 Webhook：通过调用外部REST服务对用户进行授权。 RBAC：Role-Based Access Control，基于角色的访问控制（本章讲解）。 Node：是一种专用模式，用于对kubelet发出的请求进行访问控制。 概念K8s的用户分两种，一种是普通用户，一种是ServiceAccount（服务账户）。 普通用户 普通用户是假定被外部或独立服务管理的。管理员分配私钥。平时常用的kubectl命令都是普通用户执行的。如果是用户需求权限，则将Role与User(或Group)...

主流文本生成chatgpt4（openAI） 强 claude3（Amazon） 长文本，读书读论文总结gemini(Google) poe(Quora) 机器学习综合 Gemini（Google） 后发优势 图片生成stable diffusion(开源本地部署) midjourney dall-e3(OpenAI) canva 视频生成工具stable vide diffusion（开源本地部署） sora（openAI） RunWay Pika（动画） Haiper 音乐生成Suno（中英文可唱歌） Stable Audio（纯音乐） 工具perplexity 浏览器 copilot（Github） 编程工具 Heygen/DID/SadTalk 数字人 国内通义千问系列 文心一言系列 使用计划核心：IdeaTalk（工作环境）、POE（居家环境） 重点：openai全家桶、通义千问全家桶、midjouney、plexity、copilot 付费体验：poe 20/openai 20 /midjourney 20&#x...

认证流程SSL证书认证的流程可以概括为以下几个主要步骤： 准备与申请 ： 确定域名/IP地址 ：首先确定需要为哪个域名或公网IP地址申请SSL证书。 生成CSR ：创建一个Certificate Signing Request（CSR）文件。这个过程中，会在服务器上生成一对公钥和私钥。公钥将包含在CSR中，而私钥则需安全地保存在服务器上。CSR还包含了申请者的详细信息（如组织名称、域名、联系人信息等），这些信息将被包含在最终签发的SSL证书中。 提交与审核 ： 提交CSR ：将生成的CSR文件提交给选定的SSL证书颁发机构（CA）。 身份验证 ：根据所申请的SSL证书类型（DV、OV、EV），CA进行相应的身份验证： DV（Domain Validation） ：仅验证域名所有权，通常通过添加指定的DNS记录、回复电子邮件至注册邮箱或上传特定文件至指定位置等方式完成。 OV（Organization Validation） ：除域名验证外，还需验证申请组织的真实性和合法性，可能需要提供企业注册信息、电话验证等。 EV（Extended Validation...

简介Sidecar模式将应用程序的功能划分为单独的进程运行在同一个最小调度单元中（例如 Kubernetes 中的 Pod）可以被视为 sidecar 模式。如下图所示，sidecar 模式允许您在应用程序旁边添加更多功能，而无需额外第三方组件配置或修改应用程序代码。 就像连接了 Sidecar 的三轮摩托车一样，在软件架构中， Sidecar 连接到父应用并且为其添加扩展或者增强功能。Sidecar 应用与主应用程序松散耦合。它可以屏蔽不同编程语言的差异，统一实现微服务的可观察性、监控、日志记录、配置、断路器等功能。 使用 Sidecar 模式的优势使用 sidecar 模式部署服务网格时，无需在节点上运行代理，但是集群中将运行多个相同的 sidecar 副本。在 sidecar 部署方式中，每个应用的容器旁都会部署一个伴生容器，这个容器称之为 sidecar 容器。Sidecar 接管进出应用容器的所有流量。在 Kubernetes 的 Pod 中，在原有的应用容器旁边注入一个 Sidecar 容器，两个容器共享存储、网络等资源，可以广义的将这个包含了 sidecar 容器...

规范Pod Spec 中需满足的条件为了成为 服务网格中的一部分，Kubernetes 集群中的每个 Pod 都必须满足如下条件，这些规范不是由 Istio 自动注入的，而需要 生成 Kubernetes 应用部署的 YAML 文件时需要遵守的： Service 关联：每个 pod 都必须只属于某一个 Kubernetes Service （当前不支持一个 pod 同时属于多个 service）。命名的端口：Service 的端口必须命名。端口的名字必须遵循如下格式 <protocol>[-<suffix>]，可以是 http、http2、 grpc、 mongo、 或者 redis 作为 <protocol> ，这样才能使用 Istio 的路由功能。例如 name: http2-foo 和 name: http 都是有效的端口名称，而 name: http2foo 不是。如果端口的名称是不可识别的前缀或者未命名，那么该端口上的流量就会作为普通的 TCP 流量来处理（除非使用 Protocol: UDP 明确声明使用 UDP 端口）。带有 ap...

1 简介服务网格如果用一句话来解释什么是服务网格，可以将它比作是应用程序或者说微服务间的 TCP/IP，负责服务之间的网络调用、限流、熔断和监控。对于编写应用程序来说一般无须关心 TCP/IP 这一层（比如通过 HTTP 协议的 RESTful 应用），同样使用服务网格也就无须关系服务之间的那些原来是通过应用程序或者其他框架实现的事情，比如 Spring Cloud、OSS，现在只要交给服务网格就可以了。 服务网格中分为控制平面和数据平面，当前流行的两款开源的服务网格 Istio 和 Linkerd 实际上都是这种构造，只不过 Istio 的划分更清晰，而且部署更零散，很多组件都被拆分，控制平面中包括 Mixer（Istio 1.5 之前版本）、Pilot、Citadel，数据平面默认是用 Envoy；而 Linkerd 中只分为 Linkerd 做数据平面，namerd 作为控制平面。 控制平面的特点： 不直接解析数据包 与控制平面中的代理通信，下发策略和配置 负责网络行为的可视化 通常提供 API 或者命令行工具可用于配置版本化管理，便于持续集成和部署 ...

MLOps机器学习开发迭代3. 数据收集 a. 大数据量下的文件存储与读取 —— HDFS，NFS 等分布式文件存储系统； b. 非结构化数据 —— S3 等对象存储； c. 向量数据存储 —— milvus 等向量数据库； d. 数据的持续采集与入库 —— Kafka，RabbitMQ 等流式处理工具 ；4. 数据预处理 a. 清洗、格式化、规范化、脱敏 —— Python Pandas； b. 人工标记； c. 特征工程，“数据和特征决定了模型的上限，算法只是在帮忙逼近这个上限”5. 框架选择 a. 训练框架：PyTorch，TensorFlow，PaddlePaddle，……；6. 模型训练 a. 代码开发 —— Python IDE，Notebook； ⅰ. 开发阶段会采集小量的数据，经过小次数的迭代，用于正确性验证， Notebook 可以辅助验证； b. 训练 ⅰ. 本地/单节点/单机单卡/单机多卡/多机多卡 —— GPU 管理与调度 ⅱ. 任务调度/故障转移/check...

kubeflow 简介是什么Kubeflow 项目致力于使 Kubernetes 上的机器学习 (ML) 工作流程部署变得简单、可移植且可扩展。 组件架构