计算存储使处理过程更接近数据

作者 : IT 大叔 本文共2682个字,预计阅读时间需要7分钟 发布时间: 2020-08-5

计算存储使处理过程更接近数据插图

产生的数据量被爆炸:根据IDC,创建的数据,捕获,或复制的量预计从33泽字节增加1  在2018至175泽字节在2025年2。为了从这些数据中实现价值,我们需要将其处理为有意义的见解。我们在存储驱动器上和处理在服务器上存储更多数据,但是通常存储和处理不在同一位置。在存储和计算之间移动大量数据(今天的驱动器通常为16TB,容量正在增加)意味着该方法无法扩展,并且使从数据中获取洞察力转化为附加值和组织从中受益的服务变得更加困难。

在传统存储模型中,数据仅存储在硬盘驱动器(HDD)和固态驱动器(SSD)上,并将存储的数据发送到某些外部计算机。计算存储有助于在存储数据的驱动器上处理数据,从而能够生成与数据接近的洞察力和价值。

什么是计算存储,为什么重要?

计算存储就是使存储设备更智能,以便直接在存储驱动器上处理数据。这种方法减少了将大量数据移至外部处理的过程,从而带来了诸如减少延迟和带宽使用,提高安全性以及节省能源等好处。数据工作负载直接在存储控制器本身上处理。应用计算存储对于满足机器学习(ML)或分析应用程序的实时处理要求至关重要。

计算存储适用于从物联网到边缘计算的各种应用。如果考虑物联网,则部署数量的加速会产生大量数据。通常,所有原始数据都移至服务器中,在其中进行存储和处理。但是,并非所有捕获的数据都是相关的。

让我们举个例子:想象一下一个大型停车场中的监控摄像头系统。该系统需要记录车牌号和汽车进出的时间,以便为停车时间计费,并出于安全目的记录摄像机镜头。我们主要感兴趣的信息是车牌。无论汽车是否进入或离开停车场,将所有大图像或视频流移至服务器以进行图像处理都是非常低效的。通过计算存储,每个摄像头都将流式传输到其本地驱动器,然后计算直接在驱动器上识别汽车牌照。能够直接对驱动器上存储的图像或视频执行机器学习和图像识别,并且仅将来自该数据的洞察力(车牌号和时间)返回给服务器,这样效率更高。另外,如果您考虑到一个停车场中通常有一个以上的摄像头,那么每个摄像头只有一个驱动器,那么摄像头越多,驱动器越多,并且在正确的位置计算的越多。它使系统更高效且可扩展性更高。

计算存储使处理过程更接近数据插图(2) 计算存储使处理过程更接近数据插图(4) 计算存储使处理过程更接近数据插图(6) 计算存储使处理过程更接近数据插图(8)

计算存储将帮助实现物联网,人工智能,机器学习和边缘计算等应用领域新兴技术的潜力。在许多用例中,计算存储将产生重大影响。一些常见的例子:

  • 数据库加速–直接对数据执行的操作
  • 卸载-压缩/加密/编码/等 直接在数据上
  • 内容交付网络(CDN)–轻松实现非常本地的内容交付
  • 人工智能(AI)和机器学习(ML)–直接从大量数据中产生见解
  • 边缘计算–运行Linux的计算存储驱动器(CSD)是独立的小型服务器
  • 图像分类–直接在存储数据的数据上进行元标记
  • 视频–对大型文件进行本地计算以产生洞察力
  • 运输–直接处理车辆中存储的遥测数据

如今,有了传统的存储驱动器,数据就从设备一直移到要计算的服务器,这可以:

  • 需要额外的时间,精力和延迟
  • 增加了未经授权访问信息的可能性

如果在这些系统中回程(即到服务器的连接)提供的带宽有限或价格昂贵,则计算存储的优势可以显着降低总体拥有成本。

计算存储通过在驱动器上进行处理来减少大量数据的移动,从而带来以下好处:

计算存储使处理过程更接近数据插图(10) 更快的响应时间和更少的延迟

将情报转移到需要的地方,可以几乎实时地交付结果。数据无需封装在协议中,然后通过路由器和交换机进行移动和复制,然后再在服务器上解压缩即可进行处理。

计算存储使处理过程更接近数据插图(12) 减少能源

无需大量的数据传输就需要能量和热量

计算存储使处理过程更接近数据插图(14) 安全与隐私

数据不会离开驱动器,仅返回见解,从而减少了泄漏信息的风险

计算存储使处理过程更接近数据插图(16) 可扩展性

由于计算位于驱动器上,因此添加更多驱动器意味着添加更多存储数据的计算

计算存储如何工作?

计算存储驱动器(CSD)是一种提供永久数据存储和计算服务的存储设备。计算存储涉及将计算和存储耦合以在数据上本地运行应用程序,从而减少远程服务器上所需的处理,并减少数据移动。为此,驱动器上的处理器专用于直接在该驱动器上处理数据,这允许远程主机处理器执行其他任务。

在传统的存储系统中,计算要对数据进行一些处理。

  1. 计算从存储请求数据
  2. 存储将数据发送到计算
  3. 然后计算将在服务器中进行一些处理
  4. 结果移回存储

计算存储使处理过程更接近数据插图(18)

在计算存储系统中,计算不请求数据。

  1. 计算请求驱动器本身对数据执行一项操作
  2. 处理在存储设备上进行
  3. 驱动器将结果返回到计算

计算存储使处理过程更接近数据插图(20)

Linux促进了计算存储

有多种实现计算存储的方式,但是主要要求是将处理能力嵌入驱动器控制器中,该控制器可以运行诸如Linux和软件组件之类的丰富操作系统。这具有关键优势:

计算存储使处理过程更接近数据插图(22) 具有庞大Linux开发者社区的开源软件

通过使用行业范围内的标准工具,开发经验变得更加容易,并且可以正常工作。能够创建工作负载,然后开发人员可以使用基于Linux的标准系统将其部署到驱动器上,并且仍然遵循  SNIA  标准,从而简化了系统并简化了软件开发。

计算存储使处理过程更接近数据插图(24) 现成的工具

借助Linux,可使用庞大的工具和开源软件生态系统来开发,部署和管理计算存储工作负载。这使庞大的开发人员社区能够快速将任务迁移到计算存储驱动器。

计算存储使处理过程更接近数据插图(26) 启用智能存储

在标准NVMe驱动器中,向驱动器发送数据块,将其分解并将其存储到其NAND晶粒中的页面中。服务器要求发送一个数据块,从NAND中获取数据,将其重新组装回一个数据块,最后将其发送到主机。这是一个有效的过程,但是驱动器不知道这些块构成了JPEG图像,例如,因为它不了解文件系统。相反,运行在驱动器上的Linux启用了智能存储,因为它可以挂载标准文件系统,而应用程序可以理解数据块实际代表的文件。

计算存储使处理过程更接近数据插图(28) 驱动器作为小型服务器

在该驱动器上运行的Linux可以使用现有的标准开源系统来管理驱动器,开发工作负载并下载新的工作负载。它将驱动器变成一台微型服务器,但成本最低。

现在您可能会怀疑:Linux是否真的适用于计算存储?答案是肯定的。它不是太大吗?答案是否定的。今天的存储驱动器已经具有千兆字节的RAM和TB的存储空间,并且具有快速计算能力,可以处理驱动器内外的大量数据移动。

最初想到Linux时,可能会想到大型服务器软件的大型安装,而不适合设备上的存储和计算。但是,与大型服务器相比,Linux的要求要小得多。该软件的大小可以大大减小。实际上,不需要显示驱动程序,某些功能不适用,您可以对其进行简化并将其调整为适合您的控制器。例如,Debian 9仅需要512MB的RAM和2GB的存储空间。

可以使用这些复杂系统中使用的标准开源工具来执行CSD的管理。可以使用诸如Kubernetes,Docker或扩展的Berkeley Packet Filter(eBPF)之类的通用工具来安全地下载和管理工作负载,从而以安全的方式安全地执行应用程序或脚本。

免责声明:
1. 本站资源转自互联网,源码资源分享仅供交流学习,下载后切勿用于商业用途,否则开发者追究责任与本站无关!
2. 本站使用「署名 4.0 国际」创作协议,可自由转载、引用,但需署名原版权作者且注明文章出处
3. 未登录无法下载,登录使用金币下载所有资源。
IT小站 » 计算存储使处理过程更接近数据

常见问题FAQ

没有金币/金币不足 怎么办?
本站已开通每日签到送金币,每日签到赠送五枚金币,金币可累积。
所有资源普通会员都能下载吗?
本站所有资源普通会员都可以下载,需要消耗金币下载的白金会员资源,通过每日签到,即可获取免费金币,金币可累积使用。

发表评论