Semantic Cache(语义缓存)是什么意思?
中文 · Localized Knowledge, not a translation语义缓存↔ 对应英文概念 Semantic Cache
指按照意思而不是原文完全一致来匹配和缓存AI回答的机制,这样即使问法不同但意思一样,也能直接命中缓存,不用重新调用模型。
来源
借用标准软件缓存的概念,加上语义(按意思而非文字)匹配,用来给AI回答做缓存。
用法
常在讨论怎么降低AI调用成本时出现,因为命中缓存就不用重新跑一次模型。
例句
"三种不同的问法其实问的是同一件事,全都命中了同一条语义缓存,没有重新跑模型。"