• 工作区设置：在项目中，可以创建一个或多个Development Workspaces，每个工作区都有自己的代码和配置集。Coalesce允许配置Storage Locations和Mappings，推荐在Snowflake中为开发、测试和生产环境创建目标架构，并在Coalesce中进行映射。
• 构建界面：这是主要的工作环境，用户可以创建节点、构建图形和转换数据。Coalesce提供了一系列不可编辑的默认节点类型，用户可以复制、编辑或从头开始创建新的节点。
• 用户定义的节点（UDN）：Coalesce支持UDN，适用于组织可能希望强制执行的特定对象类型或标准。
• 数据问题调查：通过使用世系图和子图，用户可以在不检查整个管道的情况下调查数据问题。
• 数据对象添加：Coalesce简化了新数据对象的添加过程，无需担心编排和定义执行顺序。
• 测试和部署：Coalesce允许通过dependent对象执行测试，并在管道的早期捕获错误。部署界面使用Deployment Wizard将数据管道部署到数据仓库。
• 数据刷新：只有在成功部署管道后，才能刷新数据，使用Data Warehouse中的任何新更改更新管道。
• 配器：Coalesce编排了转换管道的执行，允许用户灵活选择适合其组织当前工作流程的部署和作业刷新计划机制。
• 回滚：Coalesce允许用户回滚部署，将环境恢复到之前的数据结构状态。
• 文档和安全：Coalesce自动生成和更新文档，同时确保数据安全，不存储静态数据，动态数据始终加密。

6 Coalesce 的优缺点分析

6.1 优点

Coalesce 作为现代化的数据转换平台，具有以下显著优点：

• 模板驱动的开发：通过模板化开发，可以加快开发速度并实现一处更改、全局更新，提高开发效率。
• 自动生成代码：Coalesce 自动生成标准化代码，减少人工审核的需求，确保代码质量。
• 计划执行：通过集成第三方编排工具如Apache Airflow、Git操作或Snowflake任务，实现数据管道的自动化调度。
• 灵活的编码支持：Coalesce 支持灵活的编码方式，促进自助服务和简化编码过程。
• 数据沿袭功能：强大的数据沿袭功能使得执行影响分析变得更加容易。
• 自动生成文档：自动生成和更新文档，帮助新员工快速理解项目，加速入职过程。

6.2 缺点

尽管 Coalesce 提供了强大的数据集成功能，但作为ELT/ETL工具，它也有一些潜在的缺点：

• Snowflake 专用：Coalesce 主要为 Snowflake 平台设计，可能不适用于其他数据库系统。
• 逆向工程挑战：将 Snowflake 的 Schema 逆向工程到 Coalesce 需要特定的 YAML 文件和配置，这一过程可能较为复杂。
• 日志记录不足：部署和数据刷新阶段的日志记录可能不够详细，导致问题排查困难。
• 基础设施更改测试：基础设施的更改可能难以测试和维护，有时会导致作业频繁失败，需要严格的CI/CD流程控制。
• 缺少内置调度器：与其他ETL工具相比，Coalesce 缺乏内置调度器，不能直接编排作业，需要依赖第三方工具。

7 结论

在本文中，我们探讨了数据平台现代化的关键方面，并评估了 Coalesce 作为解决方案的有效性。以下是我们的主要发现：

1. 数据平台的复杂性：随着数据量的增加和数据类型的多样化，管理现代数据平台变得越来越具有挑战性。采用数据运营（DataOps）原则是应对这些挑战的有效方法，它强调跨功能团队的协作、自动化的数据工作流程和标准化的数据管理实践。
2. ETL框架的重要性：我们分析了ETL框架的功能和性能，这些框架对于数据集成至关重要。一个高效的ETL框架能够提高数据处理的速度和质量，同时降低成本和复杂性。
3. Coalesce作为解决方案：我们将 Coalesce 视为支持数据操作原则的解决方案。它允许用户在云数据平台上构建自动化、可扩展、敏捷且文档齐全的数据转换管道。Coalesce 的无代码/低代码平台简化了数据转换过程，同时提供了强大的数据沿袭和自动化文档生成功能。
4. Coalesce的优缺点：我们讨论了 Coalesce 的优缺点。它的优点包括模板驱动的开发、自动代码生成、灵活的编码支持和数据沿袭功能。然而，它也有一些局限性，如专为 Snowflake 设计、逆向工程的复杂性、日志记录不足以及缺乏内置调度器。

总的来说，Coalesce 是一个强大的工具，可以帮助组织克服数据平台现代化过程中的挑战。然而，组织在选择工具时应考虑其特定的需求和资源，以确保选择最适合其数据运营策略的解决方案。