关于美光科技公司

美光科技公司（Micron）设计并开发出了世界顶尖的存储和半导体技术。他们开发的各项技术将无限可能化为现实。事实上，你可能每天都在各种产品中用到这些存储：从计算、网络和服务器应用，到移动、嵌入式、消费类、汽车和工业设计。

40多年来，该公司在全球最重要的技术进步中发挥了重要作用，为各种应用提供了最佳的内存和存储系统。美光制造了业界最广泛的闪存和存储技术产品组合。其中许多是从硅片开始的，该硅片在美光的全球制造（“ fab”）地点之一中切成小片，即半导体材料的薄层，然后组装成闪存产品。

挑战

美光的解决方案团队使用数据分析测试并验证了用于提高闪存存储能力的假设，这些分析主要关注于流行的工作负载和用例。企业数据的分析团队支持正在开发分析解决方案的数据科学家和工程师，为Micron提供竞争优势。

内存制造行业的竞争优势以百分之一的分数衡量，因此美光需要花费大量时间来提高产量，缩短周期，并减少将产品投入市场所需的时间，这样才能提高美光在市场的竞争优势。

美光数十年来一直深入研究大数据。但是，随着适用于大数据的Hadoop开源解决方案的增长，该公司需要一个数据平台，使其能够将更多的精力放在分析上，而将精力放在数据管理上。 此外，该公司还想解决其Hadoop用户在使用实时数据分析时遇到的延迟问题。

解决方案

美光注意到Hortonworks可以提供公司正在寻找的现代数据体系结构，因此选择了Hortonworks Data Platform（HDP）3.0大数据医疗应用案例，以使他们可以专注于分析大数据医疗应用案例，解决延迟并保持竞争力。

美光最初将HDP用于其功能测试数据，这是一个非常大的复杂数据集。 此数据选中了解决方案团队提高过的“三个V”的所有框。每年的数据量超过PB，每个芯片的离散测量超过10,000次，在某些情况下，每个芯片的测量超过百万次，而且数据捕获的速度也很快，因为该公司每天通过数百万个集成电路或裸片收集超过一万亿个测量值。

美光在这项初始功能测试中获得了许多成功，但其中一个特别令人瞩目——一种半导体制造偏移（产品或工艺偏差的术语），其中一些管芯超出规格，需要识别并包含 ，并且偏移原因已修复。质量保证小组正在使用旧系统并浏览生产数据，他们认为他们可以在大约7天内识别出模具。知道这还不够快，所以他们转向HDP并使用Hive查询数据。

“我们能够在一小时内识别出所有受影响的模具，” 数据团队领导人说。 “对于美光和我们的客户而言，这是巨大的成功–对于HDP而言，也是巨大的成功。”

自从最初的功能测试数据集以来，该团队已将100多个其他数据集添加到环境中，以及100多个数据科学家和数据工程师来开发分析解决方案。这些解决方案已吸引了1000多名当前正在使用该环境的用户。美光将Apache NiFi用于数据接收管道，以提供安全的全局制造流程。

数据团队领导人说：“在每天中，有超过500,000个工作在我们的环境中运行，而它们产生的分析对于美光的业务成功至关重要。” “我们运行的大多数分析都是围绕制造业进行的，以提高产量，周期时间和新产品投入。”

改善HIVE加速的性能

美光公司在存储解决方案中心对HDP进行的首次调查是测试所有硬盘驱动器（HDD）存储与混合HDD和SSD的Hadoop性能。第一个测试方案将每个节点单个SSD与HDP 3.0和Hive加速环境结合在一起。该测试显示，与10K RPM HDD群集相比，性能提高了两倍半，从而加快了使用Hadoop进行大数据分析的速度。

美

来源【首席数据官】，更多内容/合作请关注「辉声辉语」公众号，送10G营销资料！