XBrainrotTHE INTERESTING WAY TO UNDERSTAND INTERNET CULTURE

Semantic Cache(语义缓存)是什么意思?

中文 · Localized Knowledge, not a translation
语义缓存↔ 对应英文概念 Semantic Cache

指按照意思而不是原文完全一致来匹配和缓存AI回答的机制,这样即使问法不同但意思一样,也能直接命中缓存,不用重新调用模型。

来源

借用标准软件缓存的概念,加上语义(按意思而非文字)匹配,用来给AI回答做缓存。

用法

常在讨论怎么降低AI调用成本时出现,因为命中缓存就不用重新跑一次模型。

例句

"三种不同的问法其实问的是同一件事,全都命中了同一条语义缓存,没有重新跑模型。"

相关词条