翻译自 Vector Databases: Long-Term Memory for Artificial Intelligence 。

矢量数据库存储文本、视频或图像等数据，这些数据被转换为向量嵌入，供 AI 模型快速访问。

人工智能（例如ChatGPT）的作用类似于具有固有记忆的人去图书馆阅读每一本书。然而，当你问一个 AI 一个不在图书馆书中的问题时，它要么承认自己不知道，要么产生幻觉。

人工智能幻觉是指人工智能系统生成的输出可能看起来连贯或似是而非，但并非基于现实或准确信息。这些输出可以包括 AI 模型根据其训练生成但可能与现实世界的事实或逻辑不一致的文本、图像或其他形式的数据。

例如，我们可以使用生成式人工智能（如 Midjourney ）来生成一张老人的照片。但是，提示（与类似 Stable Diffusion 等 AI 通信的方式）必须是模型能够理解的。例如，您可以要求 AI 创建一张年迈的男人的图片。在这种情况下，我使用了 Midjourney ，这是一种流行的图像生成式人工智能，来完成这项任务。我故意使用了一个可能会使其产生幻觉的示例。

Midjourney 不理解 over the hill 之类的委婉说法，因此它生成了一个男人的照片，他实际上是在山顶上。

你如何告诉AI“over the hill”这个词组以及其他它不熟悉的语言细节的含义呢？首先，你可以提供训练数据。具体做法是将这些数据转换为所谓的“嵌入”（embeddings），然后将它们导入到向量数据库中。

虽然这个例子可能有些牵强附会，但在许多其他情境中同样适用。例如，医疗和法律领域的行业专用术语可以从能够针对其特定术语和含义进行 AI 培训中受益。企业将希望向 AI 提供他们的数据，而不必引入公共模型。

向量据库的一个关键用例是大型语言模型，用于检索可在文本生成期间查询的特定领域或专有事实。因此，矢量数据库对于构建专有大型语言模型的组织至关重要。

向量 vs NoSQL vs SQL 数据库

传统数据库，例如关系数据库（例如 MySQL、PostgreSQL、Oracle）和 NoSQL 数据库（例如 MongoDB、Cassandra），几十年来一直是业务数据管理的支柱。它们以表格、文档或键值对等结构化格式存储和组织数据，使使用标准编程语言查询和操作变得更加容易。

这些数据库擅长处理具有固定模式的结构化数据，但它们常常难以处理非结构化数据或高维数据，例如图像、音频和文本。此外，随着数据量和速度的增加，它们可能会面临性能瓶颈，从而导致响应时间变慢和可扩展性问题。

另一方面，矢量数据库代表了数据存储和检索的范式转变。它们不依赖于结构化格式，而是将数据存储和索引为高维空间中的数学向量。这种称为“向量化”的方法允许更有效的相似性搜索和更好地处理复杂数据类型，例如图像、音频、视频和自然语言。

将向量数据库想象成一个巨大的仓库，将 AI 想象成熟练的仓库管理员。在这个仓库中，每个项目（数据）都存储在一个盒子（向量）中，整齐地组织在多维空间的货架上。仓库管理员 (AI) 知道每个盒子的确切位置，可以根据物品的相似性快速检索或比较物品，就像熟练的仓库管理员可以找到相似的组产品一样。

这些盒子代表不同类型的非结构化数据，例如文本、图像或音频，这些数据已被转换为结构化数字格式（向量）以便有效地存储和管理。仓库的组织和优化程度越高，仓库经理 (AI) 就可以更快、更准确地找到各种任务所需的物品时空序列数据分析和建模，例如提出建议、识别模式或检测异常情况。

这个类比有助于传达这样的想法，即向量数据库是人工智能系统的重要基础，使它们能够以结构化和有组织的方式有效地管理、搜索和处理复杂数据。正如管理良好的仓库对于顺利的业务运营至关重要一样，向量数据库在 AI 驱动的应用程序和解决方案的成功中起着至关重要的作用。

向量数据库的主要优势在于它们能够执行近似最近邻 (ANN) 搜索，从而快速识别大型数据集中的相似项目。使用降维和索引算法等技术，矢量数据库可以大规模执行这些搜索，提供闪电般快速的响应时间，并使其成为推荐系统、异常检测和自然语言处理等应用程序的理想选择。

嵌入—将文字、图像和视频转化为数字

嵌入式技术可以将复杂的数据（例如单词）转换为更简单的数值表示形式（称为向量）。这使得 AI 系统更容易理解和处理这些数据。概率分析可以帮助创建这些表示形式，方法是分析某些数据在一起出现的频率。

概率分析可以帮助量化两个数据之间的相似度，使得 AI 系统可以找到相关联的项目。基于概率分析的技术可以帮助 AI 系统在大型数据库中快速找到相似的数据点，而无需检查每个项目。概率分析可以帮助 AI 系统将相似的数据点分组，并降低数据的复杂性，使其更易于处理和分析。

流行的向量数据库

虽然现在有越来越多的向量数据库，但是有几个因素促成了它们的流行。这些因素包括：在存储、索引和搜索高维向量时高效的性能；易于与现有的机器学习框架和库集成使用；在处理大规模、高维数据时具有可扩展性；提供多个后端和索引算法的灵活性；以及拥有活跃的社区支持，提供有价值的资源、教程和示例。

更受用户欢迎的向量数据库通常提供快速准确的最近邻搜索、聚类和相似度匹配，并且可以轻松部署在云基础设施或分布式计算系统上。根据用户的受欢迎程度和 Github 上的星星数，以下是一些最受欢迎的向量数据库：

与 SQL 和 NoSQL 数据库的情况一样，矢量数据库有许多不同的风格，可以解决各种用例。

矢量数据库的用例

人工智能应用依赖高效存储和检索高维数据来提供个性化推荐、识别视觉内容、分析文本和检测异常。矢量数据库可以高效、准确地搜索和分析高维数据，这使它们对于开发强大、高效的人工智能系统至关重要。

推荐系统

在推荐系统中，向量数据库具有存储和推荐最符合用户兴趣和偏好的项目的关键功能。这些数据库通过将项目表示为向量来促进对相似项目的快速有效搜索。此功能允许人工智能系统提供个性化推荐，从而改善社交网络、流媒体服务和电子商务网站上的用户体验。

亚马逊使用的是一种常用的人工智能推荐系统。亚马逊使用协同过滤算法分析客户行为和偏好，为他们可能有兴趣购买的产品提供个性化推荐。

该系统会考虑过去的购买历史、搜索查询和客户购物车中的商品来提出建议。亚马逊的推荐系统还使用自然语言处理技术来分析产品描述和客户评论，以提供更准确和相关的推荐。

图像和视频识别

在图像和视频识别中，矢量数据库将视觉内容存储为高维矢量。这些数据库使 AI 模型能够有效地识别和理解图像或视频，找到相似性，并执行对象识别、人脸识别或图像分类任务。这在安全和监视、自动驾驶汽车和内容审核方面都有应用。

一种常用的由 AI 提供支持的图像和视频识别系统是 TensorFlow Object Detection API。这个由谷歌开发的开源框架允许用户训练自己的模型来执行对象检测任务，例如识别和定位图像和视频中的对象。

TensorFlow 对象检测 API 使用深度学习模型，例如流行的 Faster R-CNN 和 SSD 模型，以实现对象检测的高精度。它还为日常对象检测任务提供预训练模型，可以在新数据集上进行微调以提高性能。

自然语言处理 (NLP)

向量数据库通过将有关单词和句子的信息存储和管理为向量，在

来源【首席数据官】，更多内容/合作请关注「辉声辉语」公众号，送10G营销资料！