跳到主要内容

45 篇博文 含有标签「2025 年」

2025 年发布的技术文章

查看所有标签

原理剖析:向量数据库与 RAG 语义检索机制

· 阅读需 6 分钟
Yak Project
网络安全垂直语言团队

在 AI 工具搜索、意图识别、记忆管理、知识扩展等场景中,核心需求往往是对大量模糊文本的语义进行高效检索。

传统的关键词匹配难以满足需求,因此需要通过向量化表示(embedding)与 向量数据库 来实现语义级别的近似搜索(Approximate Nearest Neighbor, ANN)。

性能优化:IRify 前端并发与高并发编译引擎(二)

· 阅读需 10 分钟
Yak Project
网络安全垂直语言团队

之前我们发布了 IRify 性能升级的第一篇技术文档,在文中详细阐述了针对 IRify 编译后端进行的一系列基础性架构优化。通过将指令间的引用从内存指针迁移为持久化 ID,并引入 Fetch 和 Save 异步 I/O 抽象,我们成功地将编译器的核心计算逻辑与缓慢的数据库持久化操作解耦,在数据库模式下获得了约20%的显著性能提升。

然而,性能优化的征程永无止境。解决一个瓶颈,往往会使下一个瓶颈凸显出来。当后端的数据库持久化不再是主要制约因素后,我们发现,编译器前端在文件处理和 AST(抽象语法树)解析阶段的固有串行性,成为了限制编译总吞吐量的“新墙”。

本文将聚焦于我们进行的第二阶段深度优化,详细介绍如何通过构建一个高效的异步处理管道(Pipe),彻底重塑了前端编译流程,并进一步完善了后端的并发数据处理模型,以应对前端带来的数据洪流,最终将 IRify 打造成真正意义上的高并发编译引擎。