SETUP.md

多模态智能体系统配置指南

🚀 快速开始

1. 安装依赖

pip install -r requirements.txt

2. 配置API密钥

方法一：使用配置文件（推荐）

1. 编辑 api_keys.json 文件：

{
    "openai": {
        "api_key": "sk-your-openai-api-key-here"
    },
    "huggingface": {
        "api_key": "hf-your-huggingface-api-key-here"
    },
    "search_engine": {
        "type": "duckduckgo",
        "api_key": null
    }
}

2. 将你的OpenAI API密钥替换 sk-your-openai-api-key-here

方法二：使用环境变量

# Windows
set OPENAI_API_KEY=sk-your-openai-api-key-here

# Linux/Mac
export OPENAI_API_KEY=sk-your-openai-api-key-here

3. 运行系统

Web界面模式

python run.py --mode web

测试模式

python run.py --mode test

交互式模式

python run.py --mode interactive

🔑 API密钥获取指南

OpenAI API密钥

1. 访问 OpenAI官网
2. 注册或登录账户
3. 进入 "API Keys" 页面
4. 点击 "Create new secret key"
5. 复制生成的密钥（以 sk- 开头）

Hugging Face API密钥（可选）

1. 访问 Hugging Face
2. 注册或登录账户
3. 进入 "Settings" → "Access Tokens"
4. 点击 "New token"
5. 复制生成的令牌（以 hf_ 开头）

🔍 搜索引擎配置

DuckDuckGo搜索（默认，无需API密钥）

• 无需配置API密钥
• 免费使用
• 支持文本、图像、视频搜索

其他搜索引擎（可选）

如果需要使用其他搜索引擎，可以修改 api_keys.json：

{
    "search_engine": {
        "type": "serper",
        "api_key": "your-serper-api-key"
    }
}

⚙️ 高级配置

模型配置

在 config.py 中可以修改使用的模型：

# 图像描述模型
IMAGE_CAPTION_MODEL = "Salesforce/blip-image-captioning-base"

# 图像分类模型
IMAGE_CLASSIFICATION_MODEL = "microsoft/resnet-50"

# 对象检测模型
OBJECT_DETECTION_MODEL = "facebook/detr-resnet-50"

系统配置

# 调试模式
DEBUG = True

# 日志级别
LOG_LEVEL = "DEBUG"

# 视频处理配置
MAX_VIDEO_DURATION = 300  # 最大视频时长（秒）
FRAMES_TO_ANALYZE = 5     # 视频分析帧数

🐛 常见问题

1. API密钥错误

错误信息: OpenAI API密钥未配置 解决方案:

• 检查 api_keys.json 文件是否存在
• 确认API密钥格式正确（OpenAI密钥以 sk- 开头）
• 验证API密钥是否有效

2. 依赖包安装失败

错误信息: ModuleNotFoundError 解决方案:

# 升级pip
pip install --upgrade pip

# 重新安装依赖
pip install -r requirements.txt --force-reinstall

3. 模型下载失败

错误信息: 模型下载失败 解决方案:

• 检查网络连接
• 使用VPN或代理
• 手动下载模型到本地缓存目录

4. 内存不足

错误信息: CUDA out of memory 解决方案:

• 减少批处理大小
• 使用CPU模式运行
• 关闭其他占用内存的程序

📁 文件结构

Final_Assignment_Agent/
├── api_keys.json          # API密钥配置文件
├── config.py              # 系统配置
├── app.py                 # 主应用
├── tools.py               # 工具模块
├── test_agent.py          # 测试脚本
├── run.py                 # 启动脚本
├── requirements.txt       # 依赖包列表
├── README.md              # 项目说明
└── SETUP.md              # 配置指南

🔒 安全注意事项

1. 不要提交API密钥到版本控制

   • 将 api_keys.json 添加到 .gitignore
   • 使用环境变量或配置文件

2. 定期更新API密钥

   • 定期检查API密钥的有效性
   • 及时更新过期的密钥

3. 限制API使用

   • 设置API使用限制
   • 监控API调用次数和费用

📞 技术支持

如果遇到问题，请：

1. 查看错误日志
2. 检查配置文件
3. 运行测试脚本
4. 查看常见问题解答

---

注意: 请确保遵守相关API的使用条款和隐私政策。