什么是数据湖?

现代企业高度依赖海量、多样化的数据，数据中心是生成大数据的关键。超过90%的数据是半结构化或非结构化的，因此企业所有者正在寻找一种管理非结构化数据的方法。所有这一切都需要一个专有的、有组织的解决方案来保证有影响力的组织的数据和信息的安全。这也需要通过更快的处理设施来维持容量。数据湖可能是一个可行的解决方案。

数据湖是一个集中式存储库，允许您以任何规模存储所有结构化、半结构化和非结构化数据。数据可以以原始格式存储，无需进行任何数据预处理、格式化或清理。

什么是数据湖?

数据湖是一个中央存储库，它以原始格式保存来自数据源的大数据，直到企业使用它。数据可以是结构化、半结构化或非结构化的，可以在未来灵活使用。这使得数据湖能够与原始数据的各种点和形状相结合，为满足客户需求的定制提供有用的见解。

将数据存储在与标识符和元数据标记相关联的数据湖中，以便快速抢救。它包括数百tb或pb，用于存储来自操作源(包括数据库和SaaS平台)的模拟数据。数据湖还可以用作源平台，支持数据存储和支持工具，通过快速探索高级分析来理解数据。它跟踪沿袭、强制安全性和维护其标准的集中审计。

数据湖提供了一个可伸缩的安全平台，使企业能够以任何速度从任何系统摄取任何数据，无论是来自内部、云还是边缘计算系统。以完全保真度存储任何类型或数量的数据，实时或批量。使用SQL、Python、R或任何其他语言、第三方数据或分析应用程序分析数据。

虽然数据湖和数据仓库都可以存储一定数量的数据，但它们都针对不同的用途进行了优化。这两种技术是互补的，而不是竞争的，因此公司可能需要同时使用两种技术。数据仓库通常适用于存储业务活动中常见的重复报告和分析数据，如月销售报告、每个地区的销售跟踪数据或网站流量。

你需要一个数据湖吗?

在确定您的公司是否需要数据湖时，您应该考虑您正在处理的数据类型，以及您想对这些数据做什么。数据获取过程、数据管理和治理策略的复杂性，以及组织中人员使用的工具和技能水平。

企业开始从不同的角度看待数据湖的价值，即数据湖不仅用于存储全保真数据，它们还可以帮助用户更深入地了解业务状况，因为数据湖比以往任何时候都提供了更丰富的上下文，这有助于加快分析实验。

数据湖主要是为了处理大量的大数据而开发的，公司通常可以通过批处理和流处理的方式将原始数据转移到数据湖中，而不需要对其进行转换。

企业正在通过日志文件、点击流数据、社交媒体和存储在数据湖中的联网设备等新来源进行新型的分析，如机器学习。这有助于他们通过吸引和留住客户、提高效率、主动维护设备和做出明智的决定来识别业务机会并更快地采取行动。

企业对数据湖的依赖主要有以下目的:

• 拥有的总成本更低。
• 简化数据管理。
• 为人工智能和机器学习的加入做好准备。
• 加快分析。
• 加强安全和治理。

数据湖对企业的好处包括:

• 数据保持可用，并确保员工可以在需要时访问它。
• 存储大量数据的廉价可伸缩性为业务增加了财务价值，即使它需要一些正式的处理和分析方向。
• 数据湖提供了变化，公司可以在未来储存数据，因为数据以原生格式保存，因此可以无限制地多次使用和添加数据。
• 根据数据技术的进步来适应固有的变化，可以更容易地在未来恢复必要的数据。
• 数据湖的使用通过提供高质量的数据和深度学习算法来实现实时分析，强调业务决策分析。
• 支持SQL和其他编程语言的灵活性满足了高级需求。
• 丰富的资源是另一个好处，因为存储在数据湖中的数据可以来自多个来源和多种媒体、聊天、社交数据、二进制文件或任何其他格式。

数据湖面临什么挑战?

• 数据湖体系结构:一个收集数据的源，使其可以通过ETL使用。
• 安全:管理数据安全。
• 目录管理:为大量数据建立索引，方便查看。
• 治理:创建数据和管理的副本。
• 访问控制:多个用户组可能同时访问数据湖中的数据，因此适当的访问控制管理非常重要。
• 一致性:数据一致性很重要。数据是不断增长的，可以实时更新，因此如果多个目标使用相同的数据，每个目标的数据应该是一致的。

数据仓库vs数据湖?

数据仓库用于存储结构化数据，业务专业人员可以访问这些数据来创建仪表板和数据可视化。数据仓库的存储成本很高，而且没有数据湖灵活。但它更加成熟和稳定。

数据湖用于以原始格式存储非结构化数据。这些数据主要用于数据科学家和机器学习工程师的分析和预测建模。与数据仓库相比，数据湖存储成本更低、更灵活、可重构。

数据湖的使用场景有哪些?

由于数据湖为分析和人工智能提供了基础，各行各业的企业都在使用数据湖来增加收入、节省资金和降低风险。

• 媒体和娱乐:提供在线音乐、广播和播客流媒体的公司可以通过改进他们的推荐系统来增加收入，这样用户就可以消费更多的服务，从而允许公司销售更多的广告。
• 电信:跨国电信公司可以通过建立流失倾向模型来减少客户的流失，从而节省资金。
• 金融服务:投资公司可以依靠数据湖为机器学习提供动力，这样他们就可以在实时市场数据可用时管理投资组合风险。