实验7：构建带搜索、计算器、文件读写的小型 Agent

# 方案 A：smolagents
pip install smolagents duckduckgo-search requests beautifulsoup4

# 方案 B：langgraph
pip install langgraph langchain-openai langchain-community duckduckgo-search requests beautifulsoup4

import os
os.environ["OPENAI_API_KEY"] = "sk-..."          # 如果用 OpenAI
# os.environ["ANTHROPIC_API_KEY"] = "sk-ant-..."  # 如果用 Anthropic
# os.environ["HF_TOKEN"] = "hf_..."               # 如果用 HF Inference

from duckduckgo_search import DDGS
with DDGS() as ddgs:
    for r in ddgs.text("ReAct agent paper Yao 2022", max_results=3):
        print(r["title"], "-", r["href"])

from smolagents import tool
import requests
from duckduckgo_search import DDGS
from bs4 import BeautifulSoup
import re

@tool
def web_search(query: str, max_results: int = 5) -> str:
    """在 DuckDuckGo 上搜索，返回标题和链接。
    
    Args:
        query: 搜索查询
        max_results: 返回结果数量
    """
    with DDGS() as ddgs:
        results = list(ddgs.text(query, max_results=max_results))
    return "\n".join([f"- {r['title']}: {r['href']}" for r in results])

@tool
def fetch_url(url: str) -> str:
    """抓取 URL 内容并返回纯文本（去除 HTML 标签）。
    
    Args:
        url: 目标网址
    """
    try:
        resp = requests.get(url, timeout=15, headers={"User-Agent": "Mozilla/5.0"})
        soup = BeautifulSoup(resp.text, "html.parser")
        text = soup.get_text(separator="\n", strip=True)
        return text[:8000]  # 截断防止 context 爆炸
    except Exception as e:
        return f"Error: {e}"

@tool
def python_calc(expr: str) -> str:
    """执行简单 Python 表达式计算。只允许数学运算，不允许 import。
    
    Args:
        expr: Python 表达式，如 "sum([2011,2014,2015])/3"
    """
    if "import" in expr or "open" in expr or "__" in expr:
        return "Error: forbidden keyword"
    try:
        return str(eval(expr, {"__builtins__": {}}, {"sum": sum, "len": len, "max": max, "min": min}))
    except Exception as e:
        return f"Error: {e}"

@tool
def read_file(path: str) -> str:
    """读取文本文件内容。
    
    Args:
        path: 文件路径
    """
    with open(path, "r", encoding="utf-8") as f:
        return f.read()[:8000]

@tool
def write_file(path: str, content: str) -> str:
    """把内容写入文件。
    
    Args:
        path: 文件路径
        content: 文件内容
    """
    with open(path, "w", encoding="utf-8") as f:
        f.write(content)
    return f"Written {len(content)} chars to {path}"

from smolagents import CodeAgent, InferenceClientModel

model = InferenceClientModel(model_id="Qwen/Qwen2.5-72B-Instruct")
# 如果用 OpenAI：
# from smolagents import OpenAIServerModel
# model = OpenAIServerModel(model_id="gpt-4o-mini")

agent = CodeAgent(
    tools=[web_search, fetch_url, python_calc, read_file, write_file],
    model=model,
    max_steps=8,
    verbosity_level=2,  # 打印 Thought / Code / Observation
)

from langgraph.prebuilt import create_react_agent
from langchain_openai import ChatOpenAI
from langchain_core.tools import tool as lc_tool

# 用上面定义好的函数重新 wrap 成 langchain tools
tools = [lc_tool(fn) for fn in [web_search, fetch_url, python_calc, read_file, write_file]]

llm = ChatOpenAI(model="gpt-4o-mini", temperature=0)
agent = create_react_agent(llm, tools)

task = """
任务：
1. 搜索论文 "Attention Is All You Need" (Vaswani 2017) 的 arXiv 页面
2. 抓取该页面的摘要（abstract）
3. 再抓取 arXiv 上该论文的参考文献页（如 Semantic Scholar 或 arXiv cite）
4. 提取所有参考文献的年份
5. 计算这些年份的平均值
6. 把结果（摘要 + 参考文献列表 + 平均年份）写入 /tmp/paper_report.md

请逐步思考并完成。
"""

# smolagents：
result = agent.run(task)
print(result)

# langgraph：
# from langchain_core.messages import HumanMessage
# for chunk in agent.stream({"messages": [HumanMessage(content=task)]}):
#     print(chunk)

# 问题 1：web_search 返回的链接被网站拦截
# → 在 fetch_url 里加 User-Agent header（已做），或换用 arxiv API

# 问题 2：agent 重复调用同一个搜索
# → 在 system prompt 里加："不要重复同一个搜索"
# → 或在 tool 内做 LRU 缓存

# 问题 3：agent 把很长的 HTML 塞进 context 导致截断
# → fetch_url 已做 8000 字符截断；更好的方案是先 summarize 再塞进去

# 问题 4：python_calc 被 LLM 用来做不必要的事（比如拼字符串）
# → 在 docstring 里明确："仅用于数字计算"

# 加固后的 system prompt 片段：
system = """
你是一个研究助手 Agent。执行规则：
1. 每个任务最多 8 步
2. 计算数字时必须调用 python_calc，不要自己心算
3. 抓取网页后立刻提取你要的信息，不要原样保留整页
4. 遇到相同搜索返回相同结果时，换关键词或换 URL
5. 完成所有步骤后必须调用 write_file 保存结果
"""

# 准备 3 个不同难度的任务
tasks = [
    "找 GPT-3 论文的摘要，写入 /tmp/t1.md",                         # 易
    "找 LLaMA 论文，统计引用数 > 5000 的参考文献有几篇",            # 中
    "对比 ReAct 和 Toolformer 两篇论文，写一份 300 字的对比报告",   # 难
]

results = []
for t in tasks:
    try:
        ans = agent.run(t)
        results.append({"task": t, "success": True, "answer": ans})
    except Exception as e:
        results.append({"task": t, "success": False, "error": str(e)})

success_rate = sum(r["success"] for r in results) / len(results)
print(f"Success rate: {success_rate:.0%}")