add
This commit is contained in:
@@ -34,10 +34,7 @@ BackendBase (exec_shell / read_file / write_file)
|
||||
└─ 内置工具 Bash/Read/Write/Edit/Grep/Glob 透明落到沙箱内
|
||||
```
|
||||
|
||||
关键设计:
|
||||
|
||||
- **容器内 MCP Gateway**:宿主机通过 `GatewayClient` + `backend.exec_shell` 驱动网关(一般不依赖宿主机到沙箱的端口映射)。
|
||||
- **WorkspaceManager**:`PER_AGENT` / `PER_SESSION` / `PER_USER`,空闲 TTL 驱逐;云后端可按 metadata/label 跨节点重连。
|
||||
关键设计:通过 MCP 网关收敛文件系统相关 tool 的访问,采用空闲 TTL 驱逐的方案释放沙箱资源。
|
||||
|
||||
### agentscope-java
|
||||
|
||||
@@ -52,18 +49,15 @@ SandboxFilesystemSpec.toSandboxContext(hostWorkspaceRoot)
|
||||
│
|
||||
▼
|
||||
SandboxLifecycleHook
|
||||
PreCall → SandboxManager.acquire → Sandbox.start() (四分支恢复)
|
||||
PreCall → SandboxManager.acquire → Sandbox.start()
|
||||
PostCall → Sandbox.stop() (tar 快照) → persist state → release
|
||||
│
|
||||
▼
|
||||
SandboxBackedFilesystem + ShellExecuteTool
|
||||
└─ 文件工具 / execute 全部转发到沙箱
|
||||
└─ 文件工具 / execute
|
||||
```
|
||||
|
||||
关键设计:
|
||||
|
||||
- **生命周期管理**:每次推理前后自动 acquire/start/stop,适合多租户与快照恢复。
|
||||
- **快照与沙箱解耦**:换 Docker/K8s/E2B 不影响 `LocalSnapshotSpec` / `RedisSnapshotSpec` / `OssSnapshotSpec` 的选择。启动时把宿主 `AGENTS.md`、`skills/`、`subagents/`、`knowledge/` 等打 tar 注入沙箱,按内容 SHA-256 增量跳过。
|
||||
关键设计:在ReAct生命周期内,通过 hook 机制(2.0版本叫中间件)start、stop 沙箱。
|
||||
|
||||
## Docker沙箱双端对照表
|
||||
|
||||
@@ -79,121 +73,21 @@ SandboxBackedFilesystem + ShellExecuteTool
|
||||
| 资源限制 | 较弱(构造参数少) | memory / cpu / ports / network |
|
||||
| 水平扩展 | 不适合 | 需外置快照/状态存储 |
|
||||
|
||||
关键:agentscope 通过 HTTP API 端点和 Docker 引擎交互,agentscope-java 通过 cli 与 Docker 引擎交互。明显 agentscope 的设计更靠谱一些,因为通过 HTTP API 端点交互,有2个好处:
|
||||
### 优点
|
||||
|
||||
- agentscope 实例本身可以容器化部署,而 agentscope-java 必需在宿主机用 `java -jar` 运行,因为它需要在宿主机上执行 `docker run` 命令。
|
||||
- 通过 HTTP API 端点 agentscope 可以控制远程服务器上的 Docker 容器。
|
||||
- agentscope:
|
||||
- 通过 HTTP API 与 Docker 引擎交互,除了与本机 Docker 引擎交互之外,还可以访问远程服务器上的 Docker 引擎。
|
||||
- 自动构建镜像,且可以随着依赖库的增删不断迭代 Dockerfile。
|
||||
- agentscope-java:
|
||||
- 每次 call 的时候都会在 start/stop/snapshot 生成 tar 包快照。
|
||||
- 隔离级别更贴近多租户场景(SESSION/USER/AGENT/GLOBAL)覆盖多租户常见模型。
|
||||
|
||||
### agentscope
|
||||
### 弊端
|
||||
|
||||
#### 实现原理
|
||||
|
||||
1. **镜像构建(内容哈希缓存)**
|
||||
- `prepare_build_context()` 渲染 Dockerfile,打包 gateway 脚本、`requirements.txt`、glob helper。
|
||||
- Tag 形如 `agentscope-workspace:<12hex>`,对 Dockerfile + COPY 文件做 SHA-256;本地已有则跳过 build。
|
||||
- 默认基础镜像 `python:3.11-slim`,镜像内预装 gateway venv + agentscope(Docker 路径**不做**首次 bootstrap)。
|
||||
- 可选 `node_version` 从官方 Node slim 镜像拷贝 `node`/`npm`(供 npx MCP)。
|
||||
|
||||
2. **容器启动**
|
||||
- 通过 **aiodocker** `containers.create_or_replace`。
|
||||
- `Cmd: ["sleep", "infinity"]`,工作目录 `/workspace`。
|
||||
- Label:`agentscope.workspace=true`、`agentscope.workspace.id=<id>`。
|
||||
- **Gateway 端口仅容器内监听,不做 host port 映射**;宿主经 `DockerBackend.exec` 访问。
|
||||
|
||||
3. **持久化**
|
||||
- 可选 `host_workdir` bind-mount → `/workspace`(`is_persistent`)。
|
||||
- 无 mount 则为 ephemeral 容器文件系统。
|
||||
- Linux 上 teardown 时尝试 `chown` 把 bind-mount 文件所有权还给宿主用户。
|
||||
|
||||
4. **I/O 原语(`DockerBackend`)**
|
||||
- `exec_shell`:容器 `exec` API,直传 argv(无中间 shell,需要时包 `sh -c`)。
|
||||
- `read_file` / `write_file`:`get_archive` / `put_archive`(tar)。
|
||||
|
||||
5. **服务侧**
|
||||
- `DockerWorkspaceManager`:`basedir` 下为每个 workspace 建宿主目录并 bind-mount;TTL sweeper 回收空闲容器。
|
||||
|
||||
#### 使用限制
|
||||
|
||||
| 限制 | 说明 |
|
||||
| --- | --- |
|
||||
| 依赖 Docker daemon | 需本机/远端可达的 Docker Engine + aiodocker |
|
||||
| 基础镜像须含 `python3` | Gateway 与工具链假设 Python 可用 |
|
||||
| **单节点** | 官方文档明确:Docker/Local/Bubblewrap 不适配水平扩容;跨节点请用 E2B/Daytona/OpenSandbox/K8s |
|
||||
| 首次镜像构建成本 | 缓存未命中时 build 较慢;构建失败需解读 docker stream 日志 |
|
||||
| 无细粒度 CPU/内存 API | 构造参数侧重镜像与环境变量,资源限额不如 Java Spec 直接 |
|
||||
| Linux bind-mount 权限 | 容器内 root 写文件可能留下错误 uid;框架仅在 teardown 做 chown 尽力修复 |
|
||||
|
||||
#### 好处
|
||||
|
||||
- 镜像内预置 gateway,**冷启动无需 apt/uv/pip bootstrap**(对比 E2B/K8s/OpenSandbox)。
|
||||
- 内容哈希镜像缓存,Dockerfile 不变则秒级复用。
|
||||
- Workspace 长期存活,MCP / skills / sessions 与服务模型一致。
|
||||
- Bind-mount 可把工作区落在宿主磁盘,便于调试与备份。
|
||||
- 与 `WorkspaceManager` 隔离策略(PER_AGENT 等)无缝衔接。
|
||||
|
||||
#### 弊端
|
||||
|
||||
- 强依赖本机 Docker,水平扩展与多副本亲和困难。
|
||||
- 常驻 `sleep infinity` 容器占用资源,依赖 TTL 清扫。
|
||||
- Gateway 健康检查失败时排查需看容器内日志路径。
|
||||
- 与 Java 版相比,缺少一等公民的「跨 call tar 快照后端」抽象。
|
||||
|
||||
### agentscope-java
|
||||
|
||||
#### 实现原理
|
||||
|
||||
1. **配置层(Spec)**
|
||||
Fluent API:`image`、`workspaceRoot`(默认 `/workspace`)、`memorySizeBytes`、`cpuCount`、`exposedPorts`、`network`、`environment`、`additionalRunArgs`、`snapshotSpec`、`workspaceSpec`。
|
||||
|
||||
2. **创建与客户端**
|
||||
- `DockerSandboxClient.create(...)` 生成 `DockerSandboxState`(sessionId、镜像、资源参数、快照句柄)。
|
||||
- **不引入 docker-java**:一律 `docker run` / `exec` / `inspect` / `stop` / `rm` CLI。
|
||||
- 要求宿主 `PATH` 上有 `docker`,且 daemon 可达。
|
||||
|
||||
3. **容器命令**
|
||||
```text
|
||||
docker run -d --name agentscope-sandbox-<sessionId>
|
||||
[--memory] [--cpus] [-p] [--network=none|...] [-v bind...]
|
||||
<image> sh -c "while :; do sleep 3600; done"
|
||||
```
|
||||
- 默认 **`--network=none`**(未配置 network 时),比 Python 版更偏「默认断网隔离」。
|
||||
- 支持 `WorkspaceSpec` 中的 `BindMountEntry` → `-v host:container:ro|rw`。
|
||||
- `exec`:`docker exec -w <workspaceRoot> <id> sh -c <command>`。
|
||||
|
||||
4. **工作区 tar 快照**
|
||||
- Persist:`docker exec tar -cf - -C /workspace .`(并对 bind-mount 路径 `--exclude`)。
|
||||
- Hydrate:`docker exec -i tar -xf - -C /workspace`。
|
||||
- `AbstractBaseSandbox` **四分支恢复**:容器是否仍保留目录 × 是否有可恢复快照。
|
||||
|
||||
5. **编排**
|
||||
- `start()`:确保容器 running → 四分支初始化 → workspace projection。
|
||||
- `stop()`:写快照,**容器可继续跑**。
|
||||
- `shutdown()`:自管容器则 `docker stop` + `docker rm --force`。
|
||||
|
||||
#### 使用限制
|
||||
|
||||
| 限制 | 说明 |
|
||||
| --- | --- |
|
||||
| 依赖 Docker CLI | 无嵌入式 Engine API;Windows/远程 Docker 场景需确保 CLI 行为一致 |
|
||||
| 默认无网络 | `network` 未设时为 `none`;需要拉包/访问外网必须显式配置 |
|
||||
| 镜像需自备 | 不像 Python 那样自动构建含 gateway 的专用镜像;由用户指定(如 `ubuntu:24.04`) |
|
||||
| 输出截断 | stdout/stderr 单流约 512KB 上限 |
|
||||
| 并发语义 | 同一 IsolationScope 并发 call 可起多个容器,stop 时 **last-write-wins** 覆盖快照 |
|
||||
| 多副本 | 本地 Docker + 本地快照会成单点;生产需 Redis/OSS 快照 + 分布式 `AgentStateStore` |
|
||||
| AgentRun/K8s 等扩展 | Docker 在 harness 核心;其它后端在 extension 模块,需单独依赖 |
|
||||
|
||||
#### 好处
|
||||
|
||||
- **零额外 Java Docker 库依赖**,部署简单。
|
||||
- 资源限额(CPU/内存)、端口、网络、额外 run args 一等配置。
|
||||
- 快照体系成熟,可跨 call / 跨副本恢复 `node_modules` 等重状态。
|
||||
- Workspace projection 把静态资产与运行态分离,宿主改 skills 可增量注入。
|
||||
- `IsolationScope`(SESSION/USER/AGENT/GLOBAL)覆盖多租户 SaaS 常见模型。
|
||||
- `executionGuard` 可对 AGENT/GLOBAL 做串行化,缓解快照互踩。
|
||||
|
||||
#### 弊端
|
||||
|
||||
- 每次 call 的 start/stop/snapshot 有固定开销(尤其大工作区 tar)。
|
||||
- CLI 进程模型:高并发时大量 `docker exec` 子进程与线程池开销。
|
||||
- 无内置 MCP Gateway;MCP 走 Harness 侧 `tools.json` 注册,与沙箱内进程模型不同。
|
||||
- 默认断网 + 裸镜像,冷启动后常需 agent 自己装依赖(靠快照摊销)。
|
||||
- agentscope:
|
||||
- 文件沙箱的生命周期过长,强依赖 TTL 清扫。
|
||||
- 工作区没有快照或副本能力,可以自行开发。
|
||||
- agentscope-java:
|
||||
- 随着工作区目录越来越大,会导致快照越来越慢(tar命令)可以自定义这个逻辑规避。
|
||||
- 没有 agentscope 那样不断迭代镜像的能力,需要人工干预(私以为自动迭代沙箱镜像是个伪需求)
|
||||
- 若隔离级别会 session 级别,每个 session 都会被拉起一个容器(要控制一台服务器的会话总数量)
|
||||
58
feat.md
58
feat.md
@@ -1,25 +1,49 @@
|
||||
# 任务目标
|
||||
|
||||
分析下面两个框架对于 Workspace 文件系统,是如何集成不同类型的沙箱(重点是Docker)以及实现原理、使用限制、好处和弊端,已markdown格式输出一份报告,写入到文件:"E:\synology\tmp\msg.md"。
|
||||
看下"E:\gitlab\mis-qas\mis-modules\mis-certification\src\main\java\com\lcfc\certification\tool\ChatResponseUtil.java"文件里"executeAgent"方法,Agent运行时没有收集到MCP工具调用的信息,但实际上过程中存在MCP的工具调用,数据库表最新的数据:
|
||||
|
||||
- agentscope:v2.0.5
|
||||
- agentscope-java:v2.0.0
|
||||
```json
|
||||
{
|
||||
"id": "2082645289369387010",
|
||||
"project_id": "1",
|
||||
"update_time": "2026-07-30 09:51:45",
|
||||
"user_num": "1",
|
||||
"user_id": [
|
||||
"7"
|
||||
],
|
||||
"chat_num": "1",
|
||||
"input_token": "29712",
|
||||
"output_token": "1562",
|
||||
"kb_doc_use_info": [
|
||||
{
|
||||
"kbId": "certification-kb-id",
|
||||
"docIds": [
|
||||
"NB产品CB认证SOP V1.0",
|
||||
"Green Project Execution SOP",
|
||||
"认证跨学科关联知识 for EU",
|
||||
"Cert RFQ V5.2"
|
||||
]
|
||||
}
|
||||
],
|
||||
"call_mcp_tool_count": "0",
|
||||
"call_skill_count": "0",
|
||||
"mcp_use_info": null,
|
||||
"skill_use_info": null,
|
||||
"user_dislike_count": null,
|
||||
"user_feedback_count": null
|
||||
}
|
||||
```
|
||||
|
||||
## Github源码
|
||||
我从接口响应的 EventStream 中观察到如下几个片段,确认是有的,比如"downloadCertificationReport"。
|
||||
|
||||
| 沙箱类型 | agentscope | agentscope-java |
|
||||
| --- | --- | --- |
|
||||
| Docker | https://github.com/agentscope-ai/agentscope/blob/v2.0.5/src/agentscope/workspace/_docker/_docker_workspace.py | https://github.com/agentscope-ai/agentscope-java/blob/v2.0.0/agentscope-harness/src/main/java/io/agentscope/harness/agent/sandbox/impl/docker/DockerFilesystemSpec.java |
|
||||
| Kubernetes | https://github.com/agentscope-ai/agentscope/blob/v2.0.5/src/agentscope/workspace/_k8s/_k8s_workspace.py | https://github.com/agentscope-ai/agentscope-java/blob/v2.0.0/agentscope-extensions/agentscope-extensions-sandbox/agentscope-extensions-sandbox-kubernetes/src/main/java/io/agentscope/extensions/sandbox/kubernetes/KubernetesFilesystemSpec.java |
|
||||
| e2b | https://github.com/agentscope-ai/agentscope/blob/v2.0.5/src/agentscope/workspace/_e2b/_e2b_workspace.py | https://github.com/agentscope-ai/agentscope-java/blob/v2.0.0/agentscope-extensions/agentscope-extensions-sandbox/agentscope-extensions-sandbox-e2b/src/main/java/io/agentscope/extensions/sandbox/e2b/E2bFilesystemSpec.java |
|
||||
| Daytona | https://github.com/agentscope-ai/agentscope/blob/v2.0.5/src/agentscope/workspace/_daytona/_daytona_workspace.py | https://github.com/agentscope-ai/agentscope-java/blob/v2.0.0/agentscope-extensions/agentscope-extensions-sandbox/agentscope-extensions-sandbox-daytona/src/main/java/io/agentscope/extensions/sandbox/daytona/DaytonaFilesystemSpec.java |
|
||||
| AgentRun | 暂未支持 | https://github.com/agentscope-ai/agentscope-java/blob/v2.0.0/agentscope-extensions/agentscope-extensions-sandbox/agentscope-extensions-sandbox-agentrun/src/main/java/io/agentscope/extensions/sandbox/agentrun/AgentRunFilesystemSpec.java |
|
||||
| OpenSandbox | https://github.com/agentscope-ai/agentscope/blob/v2.0.5/src/agentscope/workspace/_opensandbox/_opensandbox_workspace.py | 暂未支持 |
|
||||
```text
|
||||
{"userMessageId":null,"node":"_AGENT_MODEL_","agent":"subgraph_certification_query_agent","tokenUsage":{"promptTokens":6281,"completionTokens":46,"totalTokens":6327,"nativeUsage":{"completion_tokens":46,"prompt_tokens":6281,"total_tokens":6327}},"message":{"messageType":"tool-request","content":"","metadata":{"role":"ASSISTANT","messageType":"ASSISTANT","refusal":"","finishReason":"TOOL_CALLS","index":0,"annotations":[],"id":"chatcmpl-b3c97996f78b0739","reasoningContent":""},"toolCalls":[{"id":"call_083c6a92a3964accade8272c","type":"function","name":"downloadCertificationReport","arguments":"{\"certItem\": \"BIS\", \"modelCode\": \"MY55B\"}"}]},"toolMessages":null,"chunk":"","kbDocContext":null}
|
||||
|
||||
{"userMessageId":null,"node":"_AGENT_TOOL_","agent":"subgraph_certification_query_agent","tokenUsage":null,"message":{"messageType":"tool","content":"","metadata":{"messageType":"TOOL"},"responses":[{"id":"call_083c6a92a3964accade8272c","name":"downloadCertificationReport","responseData":"[{\"text\":\"\\\"MCP调用成功,生成认证报告下载地址:,此地址有时效性https://misqasoss.lcfuturecenter.com:9000/extractdata/extractdata/2026/07/30/7680d1f6bfe24efe8f72b308ff019662.zip?X-Amz-Algorithm=AWS4-HMAC-SHA256&X-Amz-Date=20260730T024643Z&X-Amz-SignedHeaders=host&X-Amz-Credential=mirror%2F20260730%2Fus-east-1%2Fs3%2Faws4_request&X-Amz-Expires=604800&X-Amz-Signature=7ba16bb31d3d40babe878e965625e94a6c358464231934ca5c2b4f5989307ff4\\\"\"}]"}]},"toolMessages":null,"chunk":"","kbDocContext":null}
|
||||
|
||||
## 其他参考资料
|
||||
{"userMessageId":null,"node":"_AGENT_MODEL_","agent":"subgraph_certification_query_agent","tokenUsage":{"promptTokens":6612,"completionTokens":46,"totalTokens":6658,"nativeUsage":{"completion_tokens":46,"prompt_tokens":6612,"total_tokens":6658}},"message":{"messageType":"tool-request","content":"","metadata":{"role":"ASSISTANT","messageType":"ASSISTANT","refusal":"","finishReason":"TOOL_CALLS","index":0,"annotations":[],"id":"chatcmpl-b953f4568b860563","reasoningContent":""},"toolCalls":[{"id":"call_85a2100b1adc4790bb7b2bb9","type":"function","name":"downloadCertificationReport","arguments":"{\"certItem\": \"BIS\", \"modelCode\": \"MY55B\"}"}]},"toolMessages":null,"chunk":"","kbDocContext":null}
|
||||
|
||||
- agentscope-java 官方文档对于文件系统的介绍:https://java.agentscope.io/v2/zh/docs/harness/filesystem.html
|
||||
- agentscope 官方文档对于Workspace的介绍:https://docs.agentscope.io/versions/2.0.5/zh/deploy/workspace-manager
|
||||
- OpenSandbox Github:https://github.com/opensandbox-group/OpenSandbox
|
||||
- OpenSandbox 官方文档:https://open-sandbox.ai/getting-started
|
||||
{"userMessageId":null,"node":"_AGENT_TOOL_","agent":"subgraph_certification_query_agent","tokenUsage":null,"message":{"messageType":"tool","content":"","metadata":{"messageType":"TOOL"},"responses":[{"id":"call_85a2100b1adc4790bb7b2bb9","name":"downloadCertificationReport","responseData":"[{\"text\":\"\\\"MCP调用成功,生成认证报告下载地址:,此地址有时效性https://misqasoss.lcfuturecenter.com:9000/extractdata/extractdata/2026/07/30/e9a0b939a16e4d0584d8b8454f23be88.zip?X-Amz-Algorithm=AWS4-HMAC-SHA256&X-Amz-Date=20260730T024640Z&X-Amz-SignedHeaders=host&X-Amz-Credential=mirror%2F20260730%2Fus-east-1%2Fs3%2Faws4_request&X-Amz-Expires=604800&X-Amz-Signature=bab54b68da0b765da8da964c164ec1de063ecacb11820c15b53d376c362e2686\\\"\"}]"}]},"toolMessages":null,"chunk":"","kbDocContext":null}
|
||||
```
|
||||
|
||||
请根据上述内容分析问题原因,修复bug。
|
||||
13
mis-qwpaw.md
13
mis-qwpaw.md
@@ -9,13 +9,18 @@
|
||||
| 沙箱隔离 (Sandbox) | ❌ | ✅ | **新增**:OS 内核级 Shell 执行隔离 |
|
||||
| 访问策略 (Access Policy) | ❌ | ✅ | **新增**:声明式 allow/deny/ask 策略引擎 |
|
||||
|
||||
## 已经做的一些安全加固
|
||||
## 已经做的安全加固
|
||||
|
||||
- 操作系统层面,已启用 SE Linux 的 Enforcing 模式。其 MAC(Mandatory Access Control)防御机制,可以遏制传统 DAC 机制下被恶意攻击,提权到 root 劫持系统控制权。在 MAC 机制下,权限受限于访问策略,而非文件所有者或用户。即便是 root 权限启动的进程,也必须遵守规则,无法绕过。
|
||||
- QwenPaw Linux 的实例运行在 Docker 容器中而非直接运行在宿主机,通过目录挂载的方式,将运行时生成的文件、数据持久化至宿主机上。宿主机磁盘目录不删除的前提下,容器实例宕机、重启数据不会丢失。还可以通过2种方案定期备份数据目录:
|
||||
- 1、每天定时全量备份数据目录,生成压缩包上传至OSS。
|
||||
- 2、将数据目录挂载到NAS [点此查看方案明细](https://git.jkwlstv.cn/doc/container/src/branch/main/nas-to-nfs-linux-docker.md)
|
||||
- QwenPaw Linux 的实例运行在 Docker 容器中而非直接运行在宿主机,通过目录挂载的方式,将运行时生成的文件、数据持久化至宿主机上。宿主机磁盘目录不删除的前提下,容器实例宕机、重启数据不会丢失。
|
||||
|
||||
## 还能做的安全防护
|
||||
|
||||
- 定期备份数据目录:
|
||||
- 方案一、每天定时全量备份数据目录,生成压缩包上传至OSS。
|
||||
- 方案二、将数据目录挂载到NAS [点此查看方案明细](https://git.jkwlstv.cn/doc/container/src/branch/main/nas-to-nfs-linux-docker.md)
|
||||
- 除此之外,还能把 Docker 也启用 SE Linux 更精细的控制文件访问权限。
|
||||
- [点击跳转查看 agentscope、agentscope-java 对于容器沙箱的支持](./agentscope-sandbox.md)
|
||||
|
||||
## 工具守卫 (Tool Guard)
|
||||
|
||||
|
||||
Reference in New Issue
Block a user