什么是数据湖?

现代企业高度依赖海量多样的数据，数据中心是产生大数据的关键。超过90%的数据是半结构化或非结构化的，因此企业所有者正在寻找一种管理非结构化数据的方法。所有这些都需要一个专有的、有组织的解决方案来保证有影响力的组织的数据和信息安全。这还需要通过更快的处理设施来维持容量。数据湖是一个可行的解决方案。

数据湖是一个集中式存储库，允许您以任何规模存储所有结构化、半结构化和非结构化数据。数据可以以原始格式存储，无需任何数据预处理、格式化或清理。

什么是数据湖?

数据湖是一个中央存储库，它以原始格式保存来自数据源的大数据，直到企业使用它。数据可以是结构化、半结构化和非结构化的，可以灵活使用。这使得数据湖能够与原始数据的各种点和形状相结合，为满足客户需求的定制提供有用的见解。

将数据存储在与标识符和元数据标记相关联的数据湖中，以便快速救援。它包括数百tb或pb，用于存储来自操作源(包括数据库和SaaS平台)的模拟数据。数据湖还可以用作源平台，支持数据存储，并支持通过快速探索高级分析来理解数据的工具。它跟踪沿袭、强制的安全性以及维护其标准的集中审计。

数据湖提供了一个可扩展的安全平台，使企业能够以任何速度从任何系统摄取任何数据，无论是来自内部部署、云还是边缘计算系统。存储任何类型或数量的数据与全保真度，实时或批量。使用SQL、Python、R或任何其他语言、第三方数据或分析应用程序分析数据。

虽然数据湖和数据仓库都可以存储一定数量的数据，但它们都针对不同的用途进行了优化。这两种技术是互补的，而不是竞争的，所以公司可能需要同时使用这两种技术。数据仓库通常适合存储业务活动中常见的重复报告和分析数据，例如月度销售报告、每个地区的销售跟踪数据或网站流量。

你需要一个数据湖吗?

在确定您的公司是否需要数据湖时，您应该考虑正在处理的数据类型，以及您希望如何处理这些数据。数据获取过程、数据管理和治理策略的复杂性，以及组织中人员使用的工具和技能水平。

公司开始从不同的角度看待数据湖的价值，即数据湖不仅仅用于存储全保真数据，它们还可以帮助用户更深入地了解业务状况，因为数据湖提供了比以往更丰富的上下文，这有助于加快分析实验。

数据湖主要是为处理大量大数据而开发的，公司通常可以通过批处理和流处理将原始数据转移到数据湖中，而无需对其进行转换。

企业正在通过日志文件、点击流数据、社交媒体和存储在数据湖中的互联网连接设备等新来源进行机器学习等新型分析。这有助于他们通过吸引和留住客户、提高效率、主动维护设备和做出明智的决策来识别商机并更快地采取行动。

企业对数据湖的依赖主要有以下几个方面:

• 更低的总拥有成本。
• 简化数据管理。
• 为人工智能和机器学习做好准备。
• 加快分析速度。
• 加强安全和治理。

数据湖对企业的好处包括:

• 数据仍然可用，并确保员工可以在需要时访问它。
• 存储大量数据的廉价可扩展性为企业增加了财务价值，即使它需要一些正式的处理和分析方向。
• 数据湖提供了变化，公司可以在将来存储数据，因为它以本机格式保存，因此可以不受限制地多次使用和添加数据。
• 适应基于数据技术进步的固有变化，可以更容易地在未来恢复必要的数据。
• 数据湖的利用通过提供高质量的数据和深度学习算法来实现实时分析，以强调业务的决策分析。
• 支持SQL和其他编程语言的灵活性满足了高级要求。
• 丰富的资源是另一个好处，因为存储在数据湖中的数据可以来自多个来源和多种媒体、聊天、社交数据、二进制或任何其他格式。

数据湖面临哪些挑战?

• 数据湖体系结构:收集数据的来源，使其通过ETL可供使用。
• Security:管理数据安全。
• 目录管理:索引大量的数据，便于审查。
• 治理:创建数据和管理的副本。
• 访问控制:多个用户组可能同时访问数据湖中的数据，因此进行适当的访问控制管理非常重要。
• 一致性:数据一致性很重要。数据是不断增长的，并且可能实时更新，因此如果多个目标使用相同的数据，则每个目标的数据应该是一致的。

数据仓库vs数据湖?

数据仓库用于存储结构化数据，业务专业人员可以访问这些数据来创建仪表板和数据可视化。数据仓库的存储成本很高，而且不如数据湖灵活。但它更成熟、更稳定。

数据湖用于以原始格式存储非结构化数据。这些数据主要用于数据科学家和机器学习工程师的分析和预测建模。与数据仓库相比，数据湖的存储成本更低、更灵活、可重构。

数据湖的使用场景是什么?

由于数据湖为分析和人工智能提供了基础，所有行业的企业都在使用数据湖来增加收入、节省资金和降低风险。

• 媒体和娱乐:提供在线流媒体音乐、广播和播客的公司可以通过改进他们的推荐系统来增加收入，这样用户就会消费更多的服务，从而允许公司销售更多的广告。
• 电信:跨国电信公司可以通过建立客户流失倾向模型来减少客户流失，从而节省资金。
• 金融服务:投资公司可以依靠数据湖为机器学习提供动力，这样他们就可以在实时市场数据可用时立即管理投资组合风险。