让 LangChain Agent 跑得更快:批量调用、并发控制与 Tool 并行
摘要区分批量任务并发与 Agent 内部工具并行,控制吞吐、资源用量和状态隔离。
博客
记录 AI Agent 与软件开发中的实际问题,以及排查和解决过程。
29 篇内容 · 第 2/3 页
摘要区分批量任务并发与 Agent 内部工具并行,控制吞吐、资源用量和状态隔离。
摘要在输入、输出和工具调用处设置安全边界,结合确定性规则、模型判断与中间件处理风险。
摘要说明 HumanInTheLoopMiddleware、Interrupt、Checkpoint、Thread 与 Command(resume) 如何配合,实现高风险工具调用的人工审核。
摘要围绕一次 Agent 执行,梳理 State、Context、RunnableConfig、Runtime 与 ToolRuntime 的职责和数据边界。
摘要说明 Agent 上下文的来源,以及选择、裁剪、摘要和动态注入策略,并展示对应的 LangChain Middleware 实现。
摘要说明 LangChain Store 与 Checkpointer 的分工,以及 Namespace、Key、Value、语义搜索和跨会话记忆的实现方式。
摘要说明 Thread、State、Checkpoint 与 Checkpointer 如何在多轮调用中保存和恢复 LangChain Agent 状态。
摘要用 ToolRetryMiddleware、SummarizationMiddleware 与 HumanInTheLoopMiddleware 处理重试、长对话和人工审批。
摘要说明 LangChain Middleware 的生命周期与两类 Hook,并用模型选择、Prompt 注入和工具异常处理展示执行链控制方式。
摘要讲解 stream、astream 与 updates、messages、custom 三种模式,展示 Agent 步骤、模型 Token 和自定义进度。
摘要比较 LangChain 的 ProviderStrategy 与 ToolStrategy,并用 Schema 定义可验证、可编程的 LLM 输出。
摘要说明 LangChain Tool 的定义、调用机制与设计原则,以及模型决策和程序执行之间的职责边界。