更新ai-devops

.gitea/workflows/application.yaml

@@ -1,52 +0,0 @@
-apiVersion: application.devstar.cn/v1
-kind: Application
-metadata:
-  name: mengningsoftware
-  namespace: web-servers
-  labels:
-    app.kubernetes.io/component: web-server
-    app.kubernetes.io/managed-by: devstar
-    app.kubernetes.io/name: mengningsoftware
-spec:
-  environment:
-    NGINX_VERSION: "1.24.0"
-  expose: true
-  networkPolicy:
-    gateway:
-      enabled: true
-      hosts:
-        - "mengning.com.cn"
-      ports:
-        - name: http
-          number: 80
-          protocol: HTTP
-        - name: https
-          number: 443
-          protocol: HTTPS
-      tls:
-        - hosts:
-            - "mengning.com.cn"
-          minProtocolVersion: "TLSv1_2"
-          mode: SIMPLE
-          secretName: mengningsoftware-tls
-          secretNamespace: istio-system
-  replicas: 2
-  resources:
-    cpu: "500m"
-    memory: "512Mi"
-  service:
-    enabled: true
-    type: ClusterIP
-    ports:
-      - name: http
-        port: 80
-        protocol: TCP
-        targetPort: http
-  template:
-    type: stateless
-    image: ${DOCKER_REGISTRY_ADDRESS}/${DOCKER_REPOSITORY_ARTIFACT}:${DOCKER_IMAGE_TAG}
-    ports:
-      - name: http
-        port: 80
-        protocol: TCP
-

.gitea/workflows/mengningsoftware-docs-ci-cd.yaml

@@ -37,18 +37,12 @@ jobs:
       - name: 登录 Docker Registry 并推送镜像
         run: |
           echo "${{ secrets.DOCKER_REGISTRY_PASSWORD }}" | docker login -u ${{ secrets.DOCKER_REGISTRY_USERNAME }} ${{ vars.DOCKER_REGISTRY_ADDRESS }} --password-stdin
-          docker tag devstar-docs:${{ gitea.sha }} ${{ vars.DOCKER_REGISTRY_ADDRESS }}/${{ vars.DOCKER_REPOSITORY_ARTIFACT}}:${{ gitea.sha }}
+          docker tag devstar-docs:${{ gitea.sha }} ${{ vars.DOCKER_REGISTRY_ADDRESS }}/devstar/devstar-studio-docs:${{ gitea.sha }}
-          docker tag devstar-docs:${{ gitea.sha }} ${{ vars.DOCKER_REGISTRY_ADDRESS }}/${{ vars.DOCKER_REPOSITORY_ARTIFACT}}:latest
+          docker tag devstar-docs:${{ gitea.sha }} ${{ vars.DOCKER_REGISTRY_ADDRESS }}/devstar/devstar-studio-docs:latest
-          docker push ${{ vars.DOCKER_REGISTRY_ADDRESS }}/${{ vars.DOCKER_REPOSITORY_ARTIFACT}}:${{ gitea.sha }}
+          docker push ${{ vars.DOCKER_REGISTRY_ADDRESS }}/devstar/devstar-studio-docs:${{ gitea.sha }}
-          docker push ${{ vars.DOCKER_REGISTRY_ADDRESS }}/${{ vars.DOCKER_REPOSITORY_ARTIFACT}}:latest    
+          docker push ${{ vars.DOCKER_REGISTRY_ADDRESS }}/devstar/devstar-studio-docs:latest    
 
-      - name: 📝 Update mengning.com.cn（通过删除/创建 Application CRD）
+      - name: 📝 Update mengning.com.cn
-        env:
-          DOCKER_REGISTRY_ADDRESS: ${{ vars.DOCKER_REGISTRY_ADDRESS }}
-          DOCKER_REPOSITORY_ARTIFACT: ${{ vars.DOCKER_REPOSITORY_ARTIFACT }}
-          DOCKER_IMAGE_TAG: ${{ gitea.sha }}
-          TLS_CERTIFICATE: ${{ secrets.TLS_CERTIFICATE }}
-          TLS_PRIVATE_KEY: ${{ secrets.TLS_PRIVATE_KEY }}
         run: |
           curl -LO https://mirrors.ustc.edu.cn/kubernetes/core%3A/stable%3A/v1.28/deb/amd64/kubectl_1.28.0-1.1_amd64.deb
           sudo dpkg -i kubectl_1.28.0-1.1_amd64.deb
@@ -56,24 +50,4 @@ jobs:
           kubectl config set-credentials token-user --token=${{ secrets.K8S_TOKEN }}
           kubectl config set-context remote-context --cluster=remote-cluster --user=token-user
           kubectl config use-context remote-context
-
+          kubectl set image deployment/devstar-docs-app   devstar-docs=${{ vars.DOCKER_REGISTRY_ADDRESS }}/devstar/devstar-studio-docs:latest -n app
-          # 创建或更新 TLS Secret
-          # Secret 名称: mengningsoftware-tls
-          echo "$TLS_CERTIFICATE" > /tmp/tls.crt
-          echo "$TLS_PRIVATE_KEY" > /tmp/tls.key
-          kubectl create secret tls mengningsoftware-tls \
-            --cert=/tmp/tls.crt \
-            --key=/tmp/tls.key \
-            -n istio-system \
-            --dry-run=client -o yaml | kubectl apply -f -
-          rm -f /tmp/tls.crt /tmp/tls.key
-
-          # 替换 Application YAML 中的镜像地址变量并应用
-          sed "s|\${DOCKER_REGISTRY_ADDRESS}|${DOCKER_REGISTRY_ADDRESS}|g; s|\${DOCKER_REPOSITORY_ARTIFACT}|${DOCKER_REPOSITORY_ARTIFACT}|g; s|\${DOCKER_IMAGE_TAG}|${DOCKER_IMAGE_TAG}|g" \
-            .gitea/workflows/application.yaml > /tmp/application-crd.yaml
-
-          # 删除旧的 Application CRD（如果存在，忽略错误）
-          kubectl delete application mengningsoftware -n web-servers --ignore-not-found=true || true
-
-          # 创建新的 Application CRD
-          kubectl apply -f /tmp/application-crd.yaml

.vitepress/config.mts

@@ -271,11 +271,11 @@ function sidebarCompiling(): DefaultTheme.SidebarItem[] {
           link: '/src/compile/why-distributed-compiling'
         },
         {
-          text: 'CloudBuild分布式编译',
+          text: 'CloudBuild',
           link: '/src/compile/cloudbuild'
         },
         {
-          text: 'ShareBuild共享编译',
+          text: 'ShareBuild',
           link: '/src/compile/sharebuild'
         },
       ]

src/compile/cloudbuild.md

@@ -1,13 +1,11 @@
-# CloudBuild私有云分布式编译系统
+# 分布式编译系统CloudBuild
-
+![alt text](/public/compile/promotional-graphic-cloudbuild.jpg)
-##  CloudBuild的适用场景
+##  为什么需要分布式编译？
-
+- 大型项目过长的编译耗时将会给开发、测试和调试都带来延迟，所以缩短大型项目的编译时间的分布式编译系统有重要意义
-对于大型开发团队，CloudBuild私有云分布式编译系统不仅可以通过分布式编译加速项目编译过程，而且有大量编译任务是相同的，分布式编译缓存可以避免重复编译，从而节约算力消耗，并进一步缩短项目编译时间。
+- 使用分布式编译系统编译项目可以利用计算机集群提高编译效率，缩短项目编译时间
-
+- 在实际开发时，同一个团队大量的编译任务时相同的。CloudBuild提供的编译缓存可以避免重复上传和重复编译，从而进一步加快编译效率
-## CloudBuild QuickStart
-
-todo
 
+## 总体架构
 ### 系统总体架构
 ![alt text](/public/compile/architecture.png)
 - Ninja：客户端，该机器上需要保存有完整的待编译项目源代码。

src/compile/index.md

@@ -1,24 +1,80 @@
 # 编译加速
 
 
-##  分布式编译
+##  分布式编译技术
 
 ![alt text](/public/compile/promotional-graphic-cloudbuild.jpg)
 
-- [为什么需要分布式编译？](/src/compile/why-distributed-compiling)
+- 大型项目过长的编译耗时将会给开发、测试和调试都带来延迟，所以缩短大型项目的编译时间的分布式编译系统有重要意义
-- [CloudBuild私有云分布式编译系统](/src/compile/cloudbuild)
+- 使用分布式编译系统编译项目可以利用计算机集群提高编译效率，缩短项目编译时间
-- [ShareBuild分布式共享编译工作站](/src/compile/sharebuild)
+- 在实际开发时，同一个团队大量的编译任务时相同的。CloudBuild提供的编译缓存可以避免重复上传和重复编译，从而进一步加快编译效率
-  - [以AOSP14项目为例ShareBuild分布式编译详细配置方法](/src/compile/sharebuild-aosp14.md)
 
+### CloudBuild
+![alt text](/public/compile/architecture.png)
+- Ninja：客户端，该机器上需要保存有完整的待编译项目源代码。
+- Action Cache：服务端缓存，主要保存编译任务的执行结果。
+- CAS Cache：服务端缓存，主要保存客户端上传的依赖文件，编译结果文件。
+- Scheduler：任务调度器，将编译任务id分发到各个编译节点。
+- Redis：主要存储具体的编译任务供编译节点领取执行，也可存储Action Cache和 CAS Cache中的内容加速编译。
+- MySQL：主要存储编译过程中的任务统计信息。
+- Executor：各个编译节点
 
-## AI编译器
+### ShareBuild
+![alt text](/public/compile/system-diagram.png)
+CloudBuild主程序分为三个部分：Client、Server、Executor。
+- Client：运行在客户端，和用户对接，用于生成待执行的远程编译任务， 同时也作为本地编译节点执行本地任务。
+- Server：运行在主服务器，主要用于连接各个编译节点，以及 将客户端上传的编译任务调度到与其连接的各个编译节点上。
+- Executor：运行在编译节点，负责接收并执行编译任务，是编译任务真正执行的地方。
 
-todo
+### 系统分层结构
+![alt text](/public/compile/layered-system-architecture.png)
 
-## PGO/LTO编译性能优化
+## 运行原理与流程
-
-todo
 
+### 分布式编译原理
+![alt text](/public/compile/compiler-principles.png)
+
+### CloudBuild客户端
+CloudBuild客户端基于Ninja改造，有下面这些优势
+- 兼容使用Ninja编译的项目
+- 使用远程执行的方式提高编译时并发度
+- 使用编译缓存减少需要编译的任务数量
+
+### CloudBuild服务端
+- 使用远程执行的方法提高编译时并发度，实现了任务分发至远程节点同步执行
+- 使用分布式任务调度提高任务调度效率和计算节点资源利用率，避免集中式调度的任务阻塞问题
+- 使用编译缓存结合内容寻址存储技术减少网络传输量、避免重复上传与重复编译
+
+### CloudBuild优势
+- 低成本：组成executor的机器不需要使用专门的高性能计算型机器，可使用多个平价的空闲机器
+- 高效：CloudBuild实现分布式编译的功能，相比单机大大提升并发度
+- 兼容Ninja：CloudBuild客户端基于Ninja改造，对于使用Ninja构建和可以转换为Ninja构建的项目不用额外修改构建清单
+
+### CloudBuild执行流程
+- 客户端: 生成远程任务->生成任务依赖->发送任务与依赖
+- 服务端：检查任务缓存->检查依赖完整性->调度任务
+- 编译结点：还原文件目录->还原文件目录->返回编译结果
+
+## AOSP和LLVM上的应用
+### LLVM上的应用效果
+![alt text](/public/compile/table1.png)
+### AOSP上的应用效果
+![alt text](/public/compile/table2.png)
+### CloudBuild硬件资源利用率
+4核CPU利用率:
+![alt text](/public/compile/CPU-utilization-4.png)
+8核CPU利用率:
+![alt text](/public/compile/CPU-utilization-8.png)
+16核CPU利用率:
+![alt text](/public/compile/CPU-utilization-16.png)
+
+## CloudBuild使用方法
+### CloudBuild安装
+![alt text](/public/compile/cloudbuild-installation.png)
+CloudBuild项目地址：https://gitee.com/cloudbuild888/cloudbuild.git
+### CloudBuild分布式编译
+![alt text](/public/compile/cloudbuild-distributed-compilation.png)
+LLVM项目地址：https://gitee.com/mirrors/LLVM.git
 
 
 

src/compile/sharebuild-aosp14.md

@@ -1,110 +0,0 @@
-# 以AOSP14项目为例ShareBuild分布式编译详细配置方法
-
-##  编译环境准备
-
-### 安装 Sharebuild
-
-* 参与编译的同一个局域网内的A、B、C等所有节点上安装ninja2和sharebuild:
-```
-wget -c https://raw.githubusercontent.com/ninja-cloudbuild/ninja2/refs/heads/main/install.sh && chmod +x install.sh && sudo ./install.sh
-```
-
-* 确保所有节点上均安装配置好了项目的编译环境，即所有节点上均能采用ninja成功单机编译项目。
-
-### 安装AOSP项目编译环境
-
-* 参与编译的同一个局域网内的A、B、C等所有节点上安装编译环境依赖:
-
-```bash
-# 安装核心开发工具和库
-sudo apt-get install git-core gnupg flex bison build-essential zip curl zlib1g-dev gcc-multilib g++-multilib libc6-dev-i386 libncurses5 lib32ncurses5-dev x11proto-core-dev libx11-dev lib32z1-dev libgl1-mesa-dev libxml2-utils xsltproc unzip fontconfig
-
-# 安装Android 14所需的Java环境
-sudo apt-get install openjdk-17-jdk
-
-# 确保Python 3环境正确安装
-sudo apt-get install python3 python3-pip
-```
-
-### 下载 AOSP 源码并执行单机编译
-
-* 选择任一节点作为客户端节点，下载AOSP14源码:
-
-```bash
-mkdir ~/bin && curl https://mirrors.tuna.tsinghua.edu.cn/git/git-repo > ~/bin/repo && chmod a+x ~/bin/repo 
-export PATH=~/bin:$PATH
-
-repo init --depth=1 --partial-clone -u https://mirrors.tuna.tsinghua.edu.cn/git/AOSP/platform/manifest -b android-14.0.0_r2
-repo sync -j16
-
-cd android-14.0.0_r2
-source build/envsetup.sh  # 初始化环境
-lunch aosp_arm-eng        # 选择目标配置
-make                      # 执行单机编译
-```
-编译成功后可以看到：
-```
-[ 99% 130084/130093] out/host/linux-x86/bin/resourceshrinker --output out/soong/.intermediates/frameworks/base/packages/SystemUI/SystemUI
-Shrunken apk stored in:
-out/soong/.intermediates/frameworks/base/packages/SystemUI/SystemUI/android_common/SystemUI-unsigned.apk.proto.out.apk
-[100% 130093/130093] Target vbmeta image: out/target/product/generic/vbmeta.img
-
-#### build completed successfully (02:20:12 (hh:mm:ss)) ####
-
-```
-
-### 配置AOSP项目开启ShareBuild模式
-
-* 到 AOSP 项目根目录下执行 setup_sharebuild_forAOSP14.sh 配置ShareBuild分布式编译
-```
-cd android-14.0.0_r2
-/etc/ninja2/aosp14/setup_sharebuild_forAOSP14.sh
-```
-
-* 在项目根目录下执行分布式编译
-
-```bash
-source build/envsetup.sh  # 初始化环境
-lunch aosp_arm-eng        # 选择目标配置
-make                      # 执行分布式编译
-```
-编译成功后可以看到：
-
-* 客户端节点：
-```
-[ShareBuild] Command will be executed REMOTELY
-[ShareBuild] ----------------------------------------
-[100% 130093/130093] Target vbmeta image: out/target/product/generic/vbmeta.img
-stdout: , stderr: 
-
-[16:34:34.063], pending/wanted: 5, ready: 2, running: 0
-
-
-#### build completed successfully (01:42:17 (hh:mm:ss)) ####
-
-
-real	102m16.362s
-user	1074m56.673s
-sys	64m22.863s
-
-```
-* 服务端节点sharebuild部分日志：
-```
-{"severity":"INFO","timestamp":"2025-11-24T16:34:38.988708686+08:00","caller":"service/sharebuild_proxy.go:448","message":"Successfully cl
-eared environment on executor","component":"proxy","executor":"id:\"12D3KoowBsw2Lrs7FwKkmgrmRt3MYQgNzLa82vjK8tve8gQ95KTk\"ip:\"192.168.1.
-12\" port:39077 "}
-{"severity":"INFO","timestamp":"2025-11-24T16:34:38.99059505+08:00","caller":"runner/project_runner.go:463","message":"ProjectRunner free.
-.. ","component":"runner", "ReceivedtaskCount":0,"PreemptedTaskCount":33291}
-[worker-17]Stopping worker
-[worker-24]Stopping worker
-```
-
-```
-make clean                # 清除编译目标文件
-rm -r out                 # 清除编译产物
-```
-## 版权声明
-
-Copyright @ Mengning Software
-
-梦宁软件（江苏）有限公司 版权所有

src/compile/sharebuild.md

@@ -1,74 +1,79 @@
-# ShareBuild分布式共享编译工作站
+# 分布式编译系统ShareBuild
+![alt text](/public/compile/promotional-graphic-cloudbuild.jpg)
+##  为什么需要分布式编译？
+- 大型项目过长的编译耗时将会给开发、测试和调试都带来延迟，所以缩短大型项目的编译时间的分布式编译系统有重要意义
+- 使用分布式编译系统编译项目可以利用计算机集群提高编译效率，缩短项目编译时间
+- 在实际开发时，同一个团队大量的编译任务时相同的。CloudBuild提供的编译缓存可以避免重复上传和重复编译，从而进一步加快编译效率
 
-##  ShareBuild的适用场景
+## 总体架构
+### 系统总体架构
+![alt text](/public/compile/architecture.png)
+- Ninja：客户端，该机器上需要保存有完整的待编译项目源代码。
+- Action Cache：服务端缓存，主要保存编译任务的执行结果。
+- CAS Cache：服务端缓存，主要保存客户端上传的依赖文件，编译结果文件。
+- Scheduler：任务调度器，将编译任务id分发到各个编译节点。
+- Redis：主要存储具体的编译任务供编译节点领取执行，也可存储Action Cache和 CAS Cache中的内容加速编译。
+- MySQL：主要存储编译过程中的任务统计信息。
+- Executor：各个编译节点
 
-在同一局域网内工作的小型团队，ShareBuild以P2P共享架构将空闲算力贡献给团队其他成员，从而为每个团队成员提供编译加速效果。
+### 部署示意图
+![alt text](/public/compile/system-diagram.png)
+CloudBuild主程序分为三个部分：Client、Server、Executor。
+- Client：运行在客户端，和用户对接，用于生成待执行的远程编译任务， 同时也作为本地编译节点执行本地任务。
+- Server：运行在主服务器，主要用于连接各个编译节点，以及 将客户端上传的编译任务调度到与其连接的各个编译节点上。
+- Executor：运行在编译节点，负责接收并执行编译任务，是编译任务真正执行的地方。
 
-## ShareBuild QuickStart
+### 系统分层结构
+![alt text](/public/compile/layered-system-architecture.png)
 
-* 同一个局域网内的A、B、C等所有节点上安装ninja2:
+## 运行原理与流程
 
-```
+### 分布式编译原理
-wget -c https://raw.githubusercontent.com/ninja-cloudbuild/ninja2/refs/heads/main/install.sh && chmod +x install.sh && sudo ./install.sh
+![alt text](/public/compile/compiler-principles.png)
-```
 
-* 启用ShareBuild的前置要求
+### CloudBuild客户端
+CloudBuild客户端基于Ninja改造，有下面这些优势
+- 兼容使用Ninja编译的项目
+- 使用远程执行的方式提高编译时并发度
+- 使用编译缓存减少需要编译的任务数量
 
- 1. 所有节点上均安装配置好了项目的编译环境，即所有节点上均能采用ninja成功单机编译项目。
+### CloudBuild服务端
- <!-- 
+- 使用远程执行的方法提高编译时并发度，实现了任务分发至远程节点同步执行
+- 使用分布式任务调度提高任务调度效率和计算节点资源利用率，避免集中式调度的任务阻塞问题
+- 使用编译缓存结合内容寻址存储技术减少网络传输量、避免重复上传与重复编译
 
- 2. 选择任一节点上作为项目开发环境，项目中使用.devcontainer/devcontainer.json 配置了image镜像（示例如下），依次镜像创建的开发容器中能采用ninja成功单机编译项目。
+### CloudBuild优势
+- 低成本：组成executor的机器不需要使用专门的高性能计算型机器，可使用多个平价的空闲机器
+- 高效：CloudBuild实现分布式编译的功能，相比单机大大提升并发度
+- 兼容Ninja：CloudBuild客户端基于Ninja改造，对于使用Ninja构建和可以转换为Ninja构建的项目不用额外修改构建清单
 
-```
+### CloudBuild执行流程
- {
+- 客户端: 生成远程任务->生成任务依赖->发送任务与依赖
-  "name": "DevContainer",
+- 服务端：检查任务缓存->检查依赖完整性->调度任务
-  "image": "devstar.cn/devstar/DevContainer:latest" # 仅作示例，务必使用您已安装配置好项目编译环境的容器镜像！
+- 编译结点：还原文件目录->还原文件目录->返回编译结果
- }
-```
-> 注意：以上两种方式二选一即可，第2种方式省掉了在其他节点上安装配置项目编译环境，但是首次ShareBuild模式分布式编译时其他节点会自动下载项目编译环境的容器镜像。
--->
 
-* 选择任一节点上作为项目开发环境，开启ShareBuild模式，然后进行分布式编译。
+## AOSP和LLVM上的应用
+### LLVM上的应用效果
+![alt text](/public/compile/table1.png)
+### AOSP上的应用效果
+![alt text](/public/compile/table2.png)
+### CloudBuild硬件资源利用率
+4核CPU利用率:
+![alt text](/public/compile/CPU-utilization-4.png)
+8核CPU利用率:
+![alt text](/public/compile/CPU-utilization-8.png)
+16核CPU利用率:
+![alt text](/public/compile/CPU-utilization-16.png)
 
-项目根目录下创建ninja2.conf 文件如下即可开启ShareBuild模式：
+## CloudBuild使用方法
-```
+### CloudBuild安装
-sharebuid:true
+![alt text](/public/compile/cloudbuild-installation.png)
-```
+CloudBuild项目地址：https://gitee.com/cloudbuild888/cloudbuild.git
-这时使用ninja编译将自动进入ShareBuild模式分布式编译项目。
+### CloudBuild分布式编译
+![alt text](/public/compile/cloudbuild-distributed-compilation.png)
+LLVM项目地址：https://gitee.com/mirrors/LLVM.git
 
-> 如果直接使用ninja命令编译项目，也可以加上-s参数表示启用ShareBuild模式，示例如下：
-```
-ninja -s -r `realpath ../`            #启动分布式编译，注意-r 指定项目根目录
-ninja -t clean                        #清除编译产物
-````
 
-* 对一些特殊项目的补充说明
 
-除以上常规的ShareBuild配置外，对于一些特殊项目需要做一些额外的配置，补充说明如下：
 
-## 使用ShareBuild编译Android开源项目（AOSP）
 
-除按照以上方法准备好编译环境和开启ShareBuild模式外，以AOSP14项目为例（[详细的配置方法](/src/compile/sharebuild-aosp14.md)），还需要替换ninja和准备.sharebuild.yml来过滤掉一些无法远程编译的命令，具体操作如下：
-
-```
-cp /usr/bin/android_ninja prebuilts/build-tools/linux-x86/bin/ninja
-cp /etc/ninja2/aosp14/.sharebuild.yml ./
-```
-
-然后就可以单机编译一样使用make命令来分布式编译Android开源项目（AOSP）。
-
-<!-- 
-## 使用ShareBuild编译鸿蒙开源项目（OpenHarmony）
-
-todo
--->
-
-## 参考链接
-
-* [以AOSP14项目为例ShareBuild分布式编译详细配置方法](/src/compile/sharebuild-aosp14.md)
-
-## 版权声明
-
-Copyright @ Mengning Software
-
-梦宁软件（江苏）有限公司 版权所有

src/compile/why-distributed-compiling.md

@@ -1,50 +1,76 @@
 # 为什么需要分布式编译？
 
-大型项目过长的编译耗时给开发、调试、测试和CI/CD都带来延迟，缩短大型项目的编译时间是分布式编译系统的主要目标。
+- 大型项目过长的编译耗时将会给开发、测试和调试都带来延迟，所以缩短大型项目的编译时间的分布式编译系统有重要意义
+- 使用分布式编译系统编译项目可以利用计算机集群提高编译效率，缩短项目编译时间
+- 在实际开发时，同一个团队大量的编译任务时相同的。CloudBuild提供的编译缓存可以避免重复上传和重复编译，从而进一步加快编译效率
 
-- 使用分布式编译系统编译项目可以利用计算机集群提高编译效率，缩短项目编译时间。
+## 总体架构
-- 在实际开发时，同一个团队有大量编译任务是相同的，分布式编译缓存可以避免重复编译，从而节约算力消耗，并进一步缩短项目编译时间。
+### 系统总体架构
+![alt text](/public/compile/architecture.png)
+- Ninja：客户端，该机器上需要保存有完整的待编译项目源代码。
+- Action Cache：服务端缓存，主要保存编译任务的执行结果。
+- CAS Cache：服务端缓存，主要保存客户端上传的依赖文件，编译结果文件。
+- Scheduler：任务调度器，将编译任务id分发到各个编译节点。
+- Redis：主要存储具体的编译任务供编译节点领取执行，也可存储Action Cache和 CAS Cache中的内容加速编译。
+- MySQL：主要存储编译过程中的任务统计信息。
+- Executor：各个编译节点
 
-## 分布式编译技术相关工作综述
+### 部署示意图
+![alt text](/public/compile/system-diagram.png)
+CloudBuild主程序分为三个部分：Client、Server、Executor。
+- Client：运行在客户端，和用户对接，用于生成待执行的远程编译任务， 同时也作为本地编译节点执行本地任务。
+- Server：运行在主服务器，主要用于连接各个编译节点，以及 将客户端上传的编译任务调度到与其连接的各个编译节点上。
+- Executor：运行在编译节点，负责接收并执行编译任务，是编译任务真正执行的地方。
 
-当前，国内外已有多种分布式编译系统和技术，如Distcc[8]、 CCache[9]、Bazel[10]、CodeArts Build[11]以及YADCC[12]等。
+### 系统分层结构
+![alt text](/public/compile/layered-system-architecture.png)
 
-Distcc是一款经典的分布式编译工具，采用客户端/服务器的工作模式，用户使用客户端程序启动编译任务，客户端会分析项目代码并在本地完成预处理工作，然后选择一台远程计算机，将文件发送至服务器，服务器进程处理收到的编译任务并将结果返回至客户端。Distcc 的缺点在于其负载均衡算法过于简单，其无法感知各个远程计算机的负载情况，任务分发的依据主要与远程主机在本地环境变量中的次序相关，远程主机名越靠前，得到的编译任务越多，但是当存在某个远程主机的性能过差的情况，整体编译效率将会显著下降。
+## 运行原理与流程
 
-CCache（Compiler Cache）是一款编译缓存工具，支持GCC、Clang、MSVC（Microsoft Visual C++）等编译器。其原理是将源代码文件的编译结果保存在文件缓存中，在后续编译过程中再次使用到对应文件且该文件无变动时，可直接从缓存中获取编译结果。CCache的效果类似于Make的缓存功能，不同的是Make是根据源文件的时间戳来实现缓存，而CCache是按文件内容实现缓存，通过计算文件内容的哈希值来标识该缓存文件。有了编译缓存CCache的支持，软件项目能够在无入侵，不影响现有业务代码，对开发人员透明的前提下提高编译效率。CCache的缺点是只能实现本地机器的缓存共享，无法对多个远程计算机提供编译缓存服务。
+### 分布式编译原理
+![alt text](/public/compile/compiler-principles.png)
 
-Bazel是Google内部编译工具Blaze的开源实现，同时支持多种编程语言。其采用的客户端/服务器模式，可以将任务方便地扩展到多台服务器上进行分布式编译。Bazel的编译指令采用了类似Python的Starlark语言[13]作为领域特定语言DSL[14]（domain special language），而且支持细粒度的编译产物管理，使得项目互相引用变得十分简单。虽然Bazel 拥有执行速度快、跨平台、可扩展等优点，但Bazel 运行的前提条件是需要开发人员手动编写依赖描述文件，即BUILD文件。这样也就意味着在代码规模稍大的项目中引入Bazel需要消耗时间精力编写BUILD文件，对于非Bazel项目极其不友好。
+### CloudBuild客户端
+CloudBuild客户端基于Ninja改造，有下面这些优势
+- 兼容使用Ninja编译的项目
+- 使用远程执行的方式提高编译时并发度
+- 使用编译缓存减少需要编译的任务数量
 
-华为云CodeArts Build已经可以支持华为6万研发人员进行软件开发工作和软件高效集成，每日编译任务量达到77万次，并提供24.8万台服务器进行集中的弹性调度。但CodeArts Build是专为华为云平台设计的，因此它的使用会对华为云服务的依赖性较高，同时由于其非开源，用户无法直接了解该系统的具体实现细节和内部工作原理，对后续的优化和维护工作带来不便。
+### CloudBuild服务端
+- 使用远程执行的方法提高编译时并发度，实现了任务分发至远程节点同步执行
+- 使用分布式任务调度提高任务调度效率和计算节点资源利用率，避免集中式调度的任务阻塞问题
+- 使用编译缓存结合内容寻址存储技术减少网络传输量、避免重复上传与重复编译
 
-腾讯YADCC（Yet Another Distributed C/C++ Compiler）是腾讯云推出的一款基于分布式架构的C/C++ 编译器。它采用了分布式编译技术和增量编译技术，可以快速地编译大型C/C++项目，并支持多种编译选项和优化级别。除了分布式编译外，YADCC还提供分布式编译缓存、调度预取优化、并发控制等服务。但由于YADCC的调度器是全局共享的，所有请求均由调度节点统一分配，因此集群在高负载时会阻塞新请求，导致用户无法正常使用服务。而且YADCC主要用于C/C++项目，因为使用范围有限。
+### CloudBuild优势
+- 低成本：组成executor的机器不需要使用专门的高性能计算型机器，可使用多个平价的空闲机器
+- 高效：CloudBuild实现分布式编译的功能，相比单机大大提升并发度
+- 兼容Ninja：CloudBuild客户端基于Ninja改造，对于使用Ninja构建和可以转换为Ninja构建的项目不用额外修改构建清单
 
-结合国内外现状可以发现，大多数分布式编译系统都是针对C/C++相关项目，对于像Android开源项目、开源鸿蒙等复杂的多语言大型项目的支持能力不足。
+### CloudBuild执行流程
+- 客户端: 生成远程任务->生成任务依赖->发送任务与依赖
+- 服务端：检查任务缓存->检查依赖完整性->调度任务
+- 编译结点：还原文件目录->还原文件目录->返回编译结果
 
-## CloudBuild/ShareBuild分布式编译系统
+## AOSP和LLVM上的应用
+### LLVM上的应用效果
+![alt text](/public/compile/table1.png)
+### AOSP上的应用效果
+![alt text](/public/compile/table2.png)
+### CloudBuild硬件资源利用率
+4核CPU利用率:
+![alt text](/public/compile/CPU-utilization-4.png)
+8核CPU利用率:
+![alt text](/public/compile/CPU-utilization-8.png)
+16核CPU利用率:
+![alt text](/public/compile/CPU-utilization-16.png)
 
-CloudBuild/ShareBuild分布式编译系统实现了基于Ninja的高效分布式编译，实验表明，采用本分布式编译系统后AOSP项目的编译时间降低了57.4%，LLVM项目降低了72.4%，OpenCV项目降低了71.6%，因此本系统可以大幅缩短编译时间，加快项目迭代速度。
+## CloudBuild使用方法
-
+### CloudBuild安装
-![alt text](/public/compile/promotional-graphic-cloudbuild.jpg)
+![alt text](/public/compile/cloudbuild-installation.png)
-
+CloudBuild项目地址：https://gitee.com/cloudbuild888/cloudbuild.git
-## 参考链接
+### CloudBuild分布式编译
-
+![alt text](/public/compile/cloudbuild-distributed-compilation.png)
- - [1] Google. Android开源项目[EB/OL]. https://source.android.google.cn,2021.
+LLVM项目地址：https://gitee.com/mirrors/LLVM.git
- - [2] Evan Martin. The ninja build system[EB/OL]. 2022. https://ninja-build.org/manual.html.
- - [3] 王淼. 面向多核处理器的并行编译及优化关键技术研究[D]. 长沙: 国防科学技术大学, 2010.
- - [4] 崔洋洋. 分布式计算综合实验平台的设计与实现[D]. 西安电子科技大学, 2021.
- - [5] 童亚拉. 分布式编译的方法和系统研究[J]. 计算机技术与发展, 2010, 20(5): 79-8.
- - [6] 张朝滨. 基于Ninja的分布式编译系统[D]. 中山大学, 2015.
- - [7] Nacke, Kai. Learn llvm 12: A beginner’s guide to learning llvm   compiler tools and core libraries with c++[M]. Packt Publishing Ltd, 2021: 30 - 34.
- - [8] Matev, Rosen. Fast distributed compilation and testing of large   c++ projects[C]//EPJ Web of Conferences. USA: EDP Sciences, 2020: 3-5.
- - [9] Joel Rosdahl. Ccache—a fast c/c++ compiler cache[EB/OL]. 2023. h-ttps://ccache.dev.
- - [10] Google. Bazel官方文档[EB/OL]. 2022. https://bazel.build/start/baz-elintro.
- - [11] HuaWei. 编译构建 CodeArts Build[EB/OL]. https://www.huaweicloud.com/product/cloudbuild.html,2023.
- - [12] Tencent. Yadcc 分布式C++编译器[EB/OL]. 2022. https://github.com/Tencent/yadcc.
- - [13] Google. Starlark language[EB/OL]. 2022. https://bazel.build/rules/language.
- - [14] 廖万斌, 曹云峰, 王新尧. 面向复杂系统需求分析的 DSL 构建[J]. 系统工程与电子技术, 2022, 44(11): 3443-3454.
- - [15] Jing, Shimin, Zheng, Xin, Chen, Zhengwen. Review and investigation of merkle tree’s technical principles and related application fields[C/OL]//2021 International Conference on Artificial Intelligen-ce, Big Data and Algorithms (CAIBDA). Xi’an, China: IEEE, 2021: 86-90. DOI:10.1109/CAIBDA53561.2021.00026.
- - [16] Rawal, Bharat S, Kumar, Lingampally Shiva AND Maganti, Sriram AND Godha, Varun. Comparative study of sha-256 optimization techniques[C]//2022 IEEE World AI IoT Congress (AIIoT). Seattle, WA, USA: IEEE, 2022: 387-392.
 
 
 

src/devstar/ai-code-reveiw.md

@@ -30,106 +30,3 @@ DevStar代码托管平台中项目设置、用户设置和后台管理中都可
 
 ### AI Code Review详解
 
-## **一、核心工作流程说明**
-
-AI Code Review 的执行过程如下：
-
-1. **触发条件**
-   - 当有人新建 PR（pull_request/opened）
-   - 或更新了 PR（pull_request/synchronize）
-      → 工作流自动开始执行。
-2. **代码检出（Checkout）**
-    使用 actions/checkout 拉取 PR 的代码差异，为审查准备上下文。
-3. **调用 AiReviewPR Action**
-   - Action 会读取 PR 的 diff、文件内容与上下文。
-   - 将这些内容组装为审查提示（prompt）。
-   - 调用你配置的大模型（Ollama、OpenAI 兼容接口等）。
-   - 获得模型输出后，自动写入 PR 评论区或输出到日志。
-4. **输出结果**
-   - 如果 `REVIEW_PULL_REQUEST=true` → 自动在 PR 下评论。
-   - 如果为 false → 只在日志输出，便于本地验证。
-
-------
-
-## **二、AiReviewPR 的内部实现机制**
-
-以下是 Action 的实际工作方式（代码见 GitHub）：
-
-### **1. 自动收集 PR 信息**
-
-Action 会自动读取：
-
-- PR 编号、作者、提交信息
-- diff 内容（新增、删除、修改）
-- 受影响的文件内容
-
-### **读取 PR Diff**
-
-```
-const diff = await octokit.pulls.get({
-  ...github.context.issue,
-  mediaType: { format: "diff" },
-}).then(r => r.data);
-```
-
-### 2. 构建审查 Prompt
-
-Prompt 会自动包含：
-
-- 代码变更摘要
-
-- 修改前/修改后的代码片段
-
-- 模型需要回答的格式，例如：
-
-  ```
-  1. 潜在Bug
-  2. 代码风格问题
-  3. 性能优化
-  4. 安全风险
-  5. 重构建议
-  ```
-
-### **3. 调用大模型 API**
-
-AiReviewPR 支持任意 OpenAI API 兼容模型，例如：
-
-- 本地 **Ollama**
-- OpenAI、DeepSeek、Qwen 公开服务
-- 私有化模型服务
-
-只需提供：
-
-```
-vars.MODEL
-vars.OLLAMA_HOST
-```
-
-Action 会自动发送：
-
-```
-{
-  "model": "qwen2.5:14b",
-  "messages": [
-    {"role": "system", "content": "..."},
-    {"role": "user", "content": "这是PR的代码修改内容..."}
-  ]
-}
-```
-
-### **4. 返回数据解析**
-
-Action 提取模型的回答内容，将其转换为 Markdown，并根据配置输出为：
-
-- GitHub/Gitea PR 评论
-   或
-- 工作流日志（便于调试）
-
-### **发布评论**
-
-```
-await octokit.issues.createComment({
-  ...github.context.issue,
-  body: review,
-});
-```

src/devstar/ai-devops.md

@@ -1,4 +1,5 @@
 
+
 # DevStar AI+ DevOps
 
 DevStar AI+ DevOps 是一个完整的AI驱动研发平台解决方案，通过集成 DevStar平台、代码大语言模型、Gitea MCP Server和 AI Code Tools（Cursor、Claude Code、iFlow等），为开发者提供智能化研发支撑体系。
@@ -14,11 +15,11 @@ wget -c https://devstar.cn/assets/install.sh && chmod +x install.sh && sudo ./in
 sudo devstar start
 ```
 
-安装完成后，我们得到DevStar代码托管平台的URL，比如http://172.16.94.26:80 ，之后作为 `GITEA_HOST`（给 MCP Server 用）
+安装完成后，我们得到DevStar代码托管平台的URL，比如http://172.16.94.26:80
 
 ### 二、Ollama私有部署代码大模型
 
-> 如您使用第三方API及Token，比如从[智谱AI开放平台](https://bigmodel.cn/usercenter/proj-mgmt/apikeys) 上注册申请并添加新的API Key，可以跳过这一部分。
+> 如您使用第三方API及Token，比如从http://xxx 注册申请，可以跳过这一部分。
 
 Ubuntu-20.04下完成安装：
 ```
@@ -53,14 +54,7 @@ systemctl daemon-reload
 systemctl restart ollama
 ```
 
-**产出**
+安装完成后，我们得到API URL,比如http://172.16.94.26:11434/api/tags model比如qwen2.5-coder:32b token比如TOKEN***************
-
-- 模型服务地址，例如：`http://172.16.94.26:11434`
-- 模型名，例如：`qwen2.5-coder:32b`
-
-**后面用在哪里**
-
-- CI/CD 里的 AI Code Review（作为 `vars.MODEL` / `vars.OLLAMA_HOST`）
 
 ### 三、在项目中使用代码大模型
 
@@ -89,14 +83,8 @@ jobs:
           model: ${{ vars.MODEL }}
           host: ${{ vars.OLLAMA_HOST }}
           REVIEW_PULL_REQUEST: false
-          //如果用ai token 则需配置
-          //ai_token: ${{ vars.AI_TOKEN }}
 ```
-然后在 DevStar 平台上您的项目仓库【设置 > 工作流】 里设置变量或密钥：
+DevStar代码托管平台中项目设置、用户设置和后台管理中都可以设置变量vars.MODEL、vars.OLLAMA_HOST等。
-
-- `vars.MODEL`：填入 **第二步中的模型名**，例如 `qwen2.5-coder:32b`
-- `vars.OLLAMA_HOST`：填入 **第二步中得到的模型服务地址** 例如 `http://172.16.94.26:11434`
-- `vars.AI_TOKEN`：填入 **第二步中第三方获取的API Key token**
 
 #### 安装配置MCP Server
 
@@ -130,7 +118,7 @@ jobs:
           "docker.gitea.com/gitea-mcp-server"
         ],
         "env": {
-          "GITEA_HOST": "<Your Gitea Host>",
+          "GITEA_HOST": "http://172.16.94.26",
           "GITEA_ACCESS_TOKEN": "${input:gitea_token}"
         }
       }
@@ -138,34 +126,19 @@ jobs:
 }
 ```
 
-`GITEA_HOST`：**第一步中得到的 DevStar 代码托管平台地址**
+#### 配置AI IDE/CLI使用私有大模型及MCP Server
 
-`gitea_token`：来自 DevStar / Gitea 的「个人访问令牌」
+* Copilot，点击提示框里的“管理模型”，选择ollama；将mcp配置添加到 .vscode/mcp.json下
 
-获取方式：
+* Cursor，不支持私有模型，需要本地部署后做代理；点击Cursor Settings -> Tools & MCP
 
-1. 登录 DevStar 平台 （`GITEA_HOST` 对应的网站）
+  ->  New MCP Server 将mcp配置添加到mcp.json中
-2. 进入：右上角用户 【设置 > 应用】中
-3. 点击「生成新的令牌」，命名令牌并给予仓库读取等必要权限
-4. 复制生成的一串字符串，这就是你的 `gitea_token`
 
-#### 配置 AI IDE/CLI 使用 LLM 及 MCP Server
+* Continue，点击Add Chat model，Provider选择ollama；设置->Tools->MCP Servers配置yaml文件
-
-- **LLM**
-  - 使用第三方 API/云端模型（OpenAI/Anthropic/Azure/Gemini）
-    - **Cursor**：在模型设置中选择对应 Provider，配置 **API Key / Base URL / Model**
-    - **Continue**：Add Chat model 选择对应 Provider，配置 **API Key / Base URL / Model**
-    - **Copilot**：在“管理模型”中选择 **Copilot 支持的云端模型**（若需使用自带 Key 的第三方，一般用 Cursor/Continue 接入更直接）
-  - 使用本地/私有部署（Ollama / 内网 LLM）
-    - **Copilot**：在“管理模型”中选择 **ollama**
-    - **Continue**：Add Chat model → Provider 选择 **ollama**
-    - **Cursor**：若 LLM 在内网且 Cursor 不支持直连，需要做**反向代理/企业网关**提供公网可访问的 **Base URL** 再接入
-- **MCP Server（与 LLM 选择无关）**
-  - **Copilot（VS Code）**：将 MCP 配置添加到 **.vscode/mcp.json**
-  - **Cursor**：Cursor Settings → Tools & MCP → New MCP Server，将 MCP 配置写入 **mcp.json**
-  - **Continue**：Settings → Tools → MCP Servers 配置 YAML ，或复用 Cursor 的 MCP 配置：将 **mcp.json** 放到 **.continue/mcpServers/mcp.json**
 
+  也可以将cursor的json文件放到.continue/mcpServers/mcp.json中
 
+* ...
 
 ## 🚀 DevStar AI+ DevOps演示
 
@@ -173,35 +146,35 @@ jobs:
 
 ### 创建一个项目
 
-点击右上角创建仓库->DevStar模板中选择Devstar.cn/template/ai-develops
+使用ai-develops项目模板创建项目
 
-![](./static/template.png)
+![](template.png)
 
-在项目中创建一个issue
+配置mcp.json的GITEA_HOST和GITEA_ACCESS_TOKEN
 
-![](./static/issue-1.png)
+![](mcp.png)
 
 ### AI生成代码
 
-1.请在 Gitea 仓库 owner/repo 中读取 issue #1，帮我用自己的话总结问题、预期行为，并给出一个简单的解决思路。
+![](issue.png)
 
-2.请根据你对 issue #的理解实现这个功能
+![](code.png)
-
-3.请为这次修复 issue #1 的改动补充或更新测试代码，遵循项目的现有测试风格，并说明每个测试在验证什么行为。
-
-![](./static/exp.png)
 
 ### 提交PR
 
-1.请使用 Gitea MCP 为 issue #1创建一个新分支（如 fix/issue-1），将本次所有相关修改提交为一个清晰的 commit
+![](feature.png)
 
-2.请使用 Gitea MCP 从你刚才创建的分支向 main 分支发起一个 PR，标题中包含 “#1”，描述中简要说明问题、解决方案、主要改动和测试情况，并把 PR 的链接或编号发给我。
+![](feature-2.png)
 
-![](./static/pr.png)
+![](pr.png)
 
 ### AI Code Review
 
-![](./static/code-review.png)
+设置工作流相关变量
 
-![](./static/review.png)
+![](vars.png)
+
+![](code-review.png)
+
+![](review.png)
 

src/devstar/mcp-server.md

@@ -1,3 +1,4 @@
+
 # MCP Server
 
 ### 快速安装配置MCP Server
@@ -10,6 +11,7 @@
 
 ```
 {
+  "mcp": {
     "inputs": [
       {
         "type": "promptString",
@@ -32,32 +34,18 @@
           "docker.gitea.com/gitea-mcp-server"
         ],
         "env": {
-          "GITEA_HOST": "<Your Gitea Host>",
+          "GITEA_HOST": "--host http://172.16.94.26",
           "GITEA_ACCESS_TOKEN": "${input:gitea_token}"
         }
       }
     }
+  }
 }
 ```
 
 ### MCP Server使用注意事项
 
-#### Copilot（VS Code）
+* Copilot，简要文字描述，不要上太多图，可以提供官方配置链接
-
+* Cursor
-- 配置放在 `.vscode/mcp.json`。重启 VS Code → Copilot 自动加载。
+* Continue
-- [官方文档](https://vscode.js.cn/docs/copilot/customization/mcp-servers)
+* ...
-
-
-
-#### Cursor
-
-- 配置放在 `.cursor/mcp.json` 或 `.vscode/mcp.json`。
-- 打开 Cursor → 会提示“检测到 MCP Server”。点 Enable 即可。
-- [官方文档](https://cursor.com/cn/docs/context/mcp)
-
-
-
-#### Continue
-
-- 配置放在 `.continue/mcpServers/mcp.json`
-- [官方文档](https://docs.continue.dev/customize/deep-dives/mcp)