AI平台怎么搭才不踩坑：券商大模型落地的三层架构与关键技术决策

跟几个同行的PM聊下来，大家对AI落地的感受高度一致：PPT很好看，落地全是坑。不是模型不行，是整个工程链路没想清楚就开工了。我第一次做AI平台需求评审的时候，业务方一句话"我们要上大模型"就来了——追问下去，每个场景要求完全不同，但预算只有一个平台。

一、券商的AI平台到底在搭什么

券商AI平台不是搭一个"模型调用网关"，而是在构建从数据到决策的完整链路。 很多团队把AI平台理解成"统一封装大模型API"，这是把问题简化了。真实的链路是：

原始数据 → 知识构建(RAG) → 场景路由(Agent) → 输出校验(合规) → 结果交付

中信证券的"超级研究员"能几分钟出8万字研报，不是光靠GPT就行——背后是10万篇研报的知识库、行业数据的实时接入、输出格式的约束，以及合规审核的拦截。

不同场景的链路差异极大：

一个平台要同时cover这些，三层架构是最小可行设计。

基础层的核心决策不是"选哪个模型"，而是"怎么让多个模型共存"。 券商的实际情况是：通用对话用大模型，结构化抽取用小模型7B微调，向量检索用Embedding模型，代码场景用Code模型。每个模型部署方式、SLA、成本都不同。

设计要点：基础层要解决统一纳管——模型路由按场景自动分发、算力调度GPU池化弹性扩缩、版本管理支持灰度切换、用量计量做Token计费与成本分摊。

工程难点：别在一开始就全私有化部署。先用在线API验证场景可行性，确认有稳定流量再迁移私有化。很多团队反着来，先花大钱买GPU私有化，结果场景没跑通，算力闲置烧钱。

RAG知识库是最先要建的能力。 券商知识资产密集度远超一般行业：研报万级/年、公告十万级/年、法规千级但高精度要求。RAG的工程难点不在检索算法，在知识切分策略——研报按"观点-论据-数据"三段切，法规按"条款+适用范围"切，财务数据按"科目+期间"切。

Agent的坑在于"过度编排"。 不是每个场景都需要多步Agent，简单问答直接RAG就够。有团队给客服问答也套了三层Agent，延迟从500ms飙到5s，用户体验灾难。

合规拦截是券商AI的"最后一道墙"，也是最容易被忽略的环节：

工程难点：合规拦截不能只在最终输出做，要在链路中间做。等8万字研报生成了再检查，违规重跑成本太高。在Agent每个step的输出都做轻量检查，违规早期终止。

整条链路最耗时的不是模型推理，是RAG检索和事实校验。 这也是为什么很多团队发现"模型响应很快但整体慢"——瓶颈在数据工程不在模型。

📌 关键结论：AI平台的性能优化优先级是数据工程 > 模型推理 > Agent编排

券商AI平台不是项目制，是产品制。 分期推进：

务实建议：MVP选场景的原则：业务痛点够痛 + 数据现成 + 合规风险低。研报摘要、代码辅助、内部知识问答通常是最好的起点。智能投顾听起来很性感，但合规红线太多，不是第一期该碰的。

采购买的是"开箱即用的场景"，自建搭的是"可持续演进的能力层"。 如果需求就是"给客服加个AI问答"，采购性价比更高。但如果投研、风控、投行都要用AI且定制化程度高，自建能力层的长期ROI更好。核心判断标准：你的AI场景是3个以内还是5个以上。

💬 互动一下

你们券商的AI平台是自建还是采购？最头疼的工程环节是RAG质量、合规拦截还是算力成本？评论区聊聊👇

系统拆解 · 第25期｜下期预告：RAG知识库的工程细节——切分、检索、校验怎么做到可用

系统拆解系列持续更新，关注不迷路 📌

本文由作者构思撰写，AI辅助资料整理与排版