为什么说对象存储是克服人工智能最大挑战的理想选择

2020年发生的冠状病毒疫情强调了快速分析和解释数据的重要性，以及人工智能和机器学习在明智决策中发挥的重要作用。在医疗研究机构研发疫苗的过程中，人们见证了机器学习可以用来拯救生命的实际应用，这推动了所需的数据训练以及对人工智能用于实时推理模型的持续微调。因为经过更好训练的模型可以产生更快、更精确的人工智能系统，所以人工智能面临的最大挑战是正确训练其机器学习模型。训练有素的机器学习模型必须稳定地摄取大量数据，这样才能适应和改进。随着训练数据集的增长，学习算法的性能会越来越好、变得越来越准确。总而言之，数据越多，结果越好。显然，获得海量数据需要大量存储空间，但是在这种情况下，并不是所有存储解决方案都是一样的。当组织评估如何更好地采用人工智能/机器学习应用程序时，必须在这一过程中不要忽略存储基础设施。组织能否成功地从模型训练所需的庞大且不断增长的数据集中筛选出可行的见解，并从中收集可行的见解，这取决于其存储架构能否满足数据管道各个阶段的极端苛刻要求。对象存储是支持有效机器学习模型必不可少的7个原因坦率地说，对象存储是唯一可以帮助解决人工智能/机器学习的模型训练难题合适的解决方案，以下是为什么对象存储是最合适的原因： 无限的可扩展性大量的数据需要大量的存储，而人工智能/机器学习工作负载需要一种可以随数据增长而无限扩展的解决方案。传统文件和块存储解决方案将在数百TB后达到可扩展性的上限。对象存储是唯一可以在单个全局命名空间中无限扩展到数十PB甚至更多的存储类型。通过随时随地无中断地部署新节点，根据需求能够进行弹性无缝扩展是一个巨大的优势。 内置的数据保护定期备份数PB的训练数据集不仅耗费时间，而且并不现实。根据设计，大多数对象存储系统都不需要备份。与其相反，它们存储的数据具有足够的冗余，因此始终受到保护。由于对象存储解决方案通常被设计为分布式架构(并行运行的分布式服务器的集合，不需要使用特殊机器来提供或管理特定服务)，因此所有职责都是分开的，不需要采用中央 控制 的机器。因此，其架构中的单点故障(SPOF)的风险为零。分布式对象存储系统具有自我修复功能，可以提供极高的数据持久性。系统可以配置为容忍多个节点甚至分布式数据中心发生的故障。 固有的元数据搜索和分类在构建和训练有效的机器学习模型所需的数据准备阶段中，必须有详细的描述性元数据，这使得轻松标记、搜索、定位和分析数据成为可能。存储架构会影响收集元数据的能力。文件和块系统不支持应用程序或用户定义的扩展属性，但对象存储系统提供了独特的方法，可以使用极其丰富、可自定义的元数据来标识数据。其不受限制的性质使标签易于标记、具有强大而快速的可搜索性，以及有效管理大型数据集。 多租户功能通过多租户隔离工作负载，使多个数据科学家团队可以同时使用同一数据源，而不会互相影响或争夺资源。为服务多租户用例而设计的对象存储系统使得从一个可扩展的、与AWS S3兼容的接口中安全地管理租户数据变得更加简单。 持续的吞吐量性能可缩短训练时间以最佳速率维持数据管道的能力对于训练机器学习模型至关重要。要快速获得结果，就需要提高基础设施的效率，否则在庞大的数据集上运行的计算将被减慢或中断。现代的对象存储系统可保持高数据吞吐量，此外，还可进行横向扩展以独立和线性地提高整体系统容量和性能。这可以通过以存储服务器的形式添加系统资源来实现，这些资源可以提供要由存储软件作为单个存储池进行管理的计算(CPU和内存)和容量(闪存和HDD硬盘)。 人工智能/机器学习算法在云中运行：无论数据位于何处，与公共云的集成都非常重要，尤其是当公共云平台为人工智能/机器学习提供了一些现成的且有吸引力的工具集时。在架构上，对象存储更适合训练和调整机器学习模型，因为对象存储凭借其事实上的语言 AWS S3 API，可以在内部部署/私有云环境与公共云存储之间进行无缝访问和移动。最好的对象存储解决方案使用户能够在一个统一的命名空间中管理基于云计算的数据和内部部署数据，消除了数据孤岛，并允许资源在不损失任何功能的情况下进行协作和交换。 较低的总体拥有成本(TCO)专为人工智能/机器学习工作负载设计的存储基础设施不仅必须提供容量和性能，而且还必须提供存储、移动和管理最佳模型训练所需的数PB数据的成本效益。通过利用标准服务器技术以及在单个系统中进行大规模操作的能力，对象存储可以成批地交付，而成本只有传统专有企业存储成本的一小部分。软件定义的解决方案可以托管在成本较低的标准x86服务器上，并且可以跨多代硬件发展以降低成本。寻求实现其人工智能应用程序全部价值的组织必须了解正确训练和微调其机器学习模型的关键性质和潜在挑战。明智的组织会在选择正确的存储基础设施方面像在计算需求方面一样谨慎。而对象存储解决方案为最终提取快速准确的分析洞察力、挽救生命和其他方面提供了最佳的基础。版权声明：本文为企业网D1Net编译，转载需注明出处为：企业网D1Net，如果不注明出处，企业网D1Net将保留追究其法律责任的权利。