不给 AI 登录信息的智能体浏览器自动化

定时器 / 队列
  -> Agent 工作流
  -> 你写的一层薄 Wrapper API
  -> Selenium WebDriver
  -> 浏览器容器
  -> 已登录的网站

把账号密码给 AI
让 AI 打开网站
让 AI 替我操作浏览器

人负责登录。
浏览器容器负责会话。
Wrapper API 负责哪些动作可以放行。
Agent 负责循环执行的业务流程。

早上 8 点定时触发
  -> 从数据库或邮箱拉出昨天的运营笔记
  -> AI 写好请求的标题和正文
  -> Agent 用 dry_run=true 调用 POST /portal/draft-request
  -> Wrapper 在已登录的浏览器里填好表单
  -> Wrapper 返回截图和状态
  -> 如果需要人工审核、重新登录或批准提交，Agent 通知你

mkdir browser-automation-wrapper
cd browser-automation-wrapper

services:
  selenium:
    image: selenium/standalone-chrome:latest
    shm_size: "2g"
    ports:
      - "127.0.0.1:4444:4444"
      - "127.0.0.1:7900:7900"
    environment:
      SE_VNC_PASSWORD: "change-this-password"

docker compose up -d

http://127.0.0.1:7900/?autoconnect=1&resize=scale&password=change-this-password

允许的动作：
  在供应商门户里创建一份请求草稿。
​
输入：
  subject
  details
  priority
  dry_run
​
规则：
  绝不登录。
  绝不动账号设置。
  dry_run 不是 false 时，绝不提交最终表单。
  如果浏览器停在登录页，返回 needs_login。
  返回截图路径，方便调试。

构建一个小型 FastAPI 应用，用来封装 Selenium Remote WebDriver。
​
目标：
做一个很窄的 API，用来填写一个已经登录的网站表单。网站本身没有 API。
用户会通过 noVNC 手动登录。应用严禁直接处理用户名、密码、2FA 验证码或 cookies。
​
技术栈：
- Python 3.12
- FastAPI
- Selenium 的 Python 包
- Remote WebDriver 地址来自 SELENIUM_URL，默认 http://selenium:4444/wd/hub
​
端点：
- GET /health
- POST /portal/draft-request
- GET /debug/screenshot
​
安全要求：
- 除 /health 外，所有端点都必须校验 Authorization: Bearer $AUTOMATION_API_TOKEN。
- 不接受调用方传入的任意 CSS 选择器、URL 或 JavaScript。
- 选择器统一放在服务端的 SELECTORS 字典里。
- 如果浏览器在登录页，返回 {"status": "needs_login"}。
- dry_run 默认 true。dry_run 模式下只填字段，不点"保存草稿"。
- 记录动作日志，但绝不记录敏感信息或完整 cookies。
​
草稿请求的输入：
- subject: 字符串，最多 120 字符
- details: 字符串，最多 4000 字符
- priority: low / normal / high 之一
- dry_run: 布尔值，默认 true
​
Selenium 行为：
- 应用运行期间复用一个浏览器会话。
- 用 WebDriverWait 和 expected_conditions，不要盲目 sleep。
- 导航到 https://example-portal.invalid/requests/new。
- 填写 subject、details、priority。
- 只有 dry_run 为 false 时才点击"保存草稿"。
- 返回 status、current_url、page_title、screenshot_file。
​
部署要求：
- 提供 Dockerfile 和 docker-compose.yml。
- docker-compose.yml 里把 Wrapper API 绑到 127.0.0.1:8088，方便本地调试。
- Selenium 和 noVNC 不能对外暴露。
- 只在意图不明显的地方加注释，别灌水。

import os
from typing import Literal
​
from fastapi import FastAPI, Header, HTTPException
from pydantic import BaseModel, Field
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.ui import Select, WebDriverWait
​
SELENIUM_URL = os.getenv("SELENIUM_URL", "http://selenium:4444/wd/hub")
API_TOKEN = os.environ["AUTOMATION_API_TOKEN"]
PORTAL_DRAFT_URL = "https://example-portal.invalid/requests/new"
​
SELECTORS = {
    "subject": "#request_subject",
    "details": "#request_details",
    "priority": "#request_priority",
    "save_draft": "button[data-action='save-draft']",
}
​
app = FastAPI()
driver = None
​
​
class DraftRequest(BaseModel):
    subject: str = Field(max_length=120)
    details: str = Field(max_length=4000)
    priority: Literal["low", "normal", "high"] = "normal"
    dry_run: bool = True
​
​
def require_token(authorization: str | None) -> None:
    if authorization != f"Bearer {API_TOKEN}":
        raise HTTPException(status_code=401, detail="Unauthorized")
​
​
def browser():
    global driver
    if driver is None:
        options = webdriver.ChromeOptions()
        driver = webdriver.Remote(command_executor=SELENIUM_URL, options=options)
    return driver
​
​
def on_login_page(current_url: str, title: str) -> bool:
    text = f"{current_url} {title}".lower()
    return "login" in text or "sign-in" in text or "signin" in text
​
​
@app.get("/health")
def health():
    return {"status": "ok"}
​
​
@app.post("/portal/draft-request")
def draft_request(payload: DraftRequest, authorization: str | None = Header(default=None)):
    require_token(authorization)
​
    page = browser()
    wait = WebDriverWait(page, 20)
    page.get(PORTAL_DRAFT_URL)
​
    if on_login_page(page.current_url, page.title):
        return {"status": "needs_login", "current_url": page.current_url}
​
    wait.until(EC.visibility_of_element_located((By.CSS_SELECTOR, SELECTORS["subject"]))).clear()
    page.find_element(By.CSS_SELECTOR, SELECTORS["subject"]).send_keys(payload.subject)
​
    page.find_element(By.CSS_SELECTOR, SELECTORS["details"]).clear()
    page.find_element(By.CSS_SELECTOR, SELECTORS["details"]).send_keys(payload.details)
​
    Select(page.find_element(By.CSS_SELECTOR, SELECTORS["priority"])).select_by_value(payload.priority)
​
    if not payload.dry_run:
        wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, SELECTORS["save_draft"]))).click()
​
    screenshot_file = "/tmp/latest-screenshot.png"
    page.save_screenshot(screenshot_file)
​
    return {
        "status": "filled" if payload.dry_run else "draft_saved",
        "current_url": page.current_url,
        "page_title": page.title,
        "screenshot_file": screenshot_file,
    }
​
​
@app.get("/debug/screenshot")
def screenshot(authorization: str | None = Header(default=None)):
    require_token(authorization)
    page = browser()
    screenshot_file = "/tmp/latest-screenshot.png"
    page.save_screenshot(screenshot_file)
    return {"status": "ok", "screenshot_file": screenshot_file}

FROM python:3.12-slim
​
WORKDIR /app
RUN pip install --no-cache-dir fastapi uvicorn selenium pydantic
​
COPY main.py /app/main.py
CMD ["uvicorn", "main:app", "--host", "0.0.0.0", "--port", "8088"]

services:
  selenium:
    image: selenium/standalone-chrome:latest
    shm_size: "2g"
    ports:
      - "127.0.0.1:4444:4444"
      - "127.0.0.1:7900:7900"
    environment:
      SE_VNC_PASSWORD: "change-this-password"
​
  form-wrapper:
    build: ./form-wrapper
    depends_on:
      - selenium
    ports:
      - "127.0.0.1:8088:8088"
    environment:
      SELENIUM_URL: "http://selenium:4444/wd/hub"
      AUTOMATION_API_TOKEN: "${AUTOMATION_API_TOKEN}"

AUTOMATION_API_TOKEN=replace-this-with-a-long-random-token

docker compose up -d --build

set -a
. ./.env
set +a

curl -X POST http://127.0.0.1:8088/portal/draft-request \
  -H "Authorization: Bearer $AUTOMATION_API_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{
    "subject": "季度供应商沟通",
    "details": "请为下一次供应商评审准备一份请求草稿。",
    "priority": "normal",
    "dry_run": true
  }'

你可以通过这个 API 创建请求草稿：
​
POST http://127.0.0.1:8088/portal/draft-request
Authorization: Bearer $AUTOMATION_API_TOKEN
Content-Type: application/json
​
规则：
- 永远不要问我要网站密码。
- 永远不要问我要 2FA 验证码。
- 永远不要直接调 Selenium 或 noVNC。
- 如果 API 返回 needs_login，告诉我通过 noVNC 登录。
- 除非我明确批准保存草稿，否则一律用 dry_run=true。

ssh -L 7900:127.0.0.1:7900 user@your-server

http://127.0.0.1:7900/?autoconnect=1&resize=scale&password=change-this-password

容器保持运行。
会话过期就返回 needs_login。
让人通过 noVNC 重新登录。

AI 不该拥有你的登录。
AI 不该拥有你的整个浏览器。
AI 可以拥有结构化的草稿数据。
你的 API 决定哪些浏览器动作可以放行。