數據工程

簡化數據攝入您的湖泊

在計劃或連續作業中，逐步處理新文件（無需管理狀態信息）時，它們會逐步處理新文件。有效地跟蹤新文件（能夠擴展到數十億個文件），而無需在目錄中列出它們。Databricks會自動從源數據中侵入架構，並隨著數據加載到三角洲湖湖景房。

自動數據轉換和處理

一旦將數據攝入湖泊，數據工程師就需要將原始數據轉換為準備分析，數據科學或機器學習的結構化數據。使用Delta Live Tables（DLT）簡化數據轉換 - 一種簡單的方法，用於構建和管理Delta Lake上新鮮，高質量數據的數據管道。DLT通過聲明性管道開發，提高數據可靠性和雲規模生產運營來幫助建立Lakehouse Foundation，從而幫助數據工程團隊來幫助數據工程團隊。

在管道中建立可靠性和質量

數據質量和完整性對​​於確保Lakehouse中數據的總體一致性至關重要，以進行準確，有用的BI，數據科學和機器學習。通過通過預定義的錯誤策略（失敗，掉落，警報或隔離數據）以及驗證和完整性檢查來定義和執行數據質量的能力，您可以防止錯誤的數據流入表格，並在影響您的業務之前避免數據質量錯誤。此外，您可以隨著時間的推移監視數據質量趨勢，以了解數據的發展方式以及可能需要更改的地方。這些內置的質量控製和Delta Lake上的模式執法工具節省了數據工程團隊，大量的時間和能量在錯誤處理和恢複中。而且，由於Databricks在Apache Spark™之上構建，因此數據工程師能夠構建高度可靠和性能的數據管道，以大規模支持生產數據科學。

編排可靠的工作流程

工作流程包括三角洲現場桌自動管理ETL管道的編排和工作對於SQL，火花，筆記本，DBT，ML模型等。這可以全麵支持端到端的生產就緒管道。工作流程調度程序允許數據團隊指定其數據，分析和ML工作負載的時間，並設置通知，以告訴他們工作是否成功運行。

學到更多

與數據科學家和建築師合作

一旦攝入和處理數據，數據工程師就可以通過使組織中的每個用戶實時訪問和協作來解鎖其價值。使用用於訪問和使用數據，共享數據集，預測，模型和筆記本的工具，並確保可靠的真理來源，數據工程師可以更好地確保所有工作負載的一致性和可靠性，並與數據分析師，數據更好地合作使用數據的科學家和數據管理員。