核心功能
- Databricks Lakehouse 平臺整合：支援 Personal Access Token 和 Azure Service Principal 身分驗證。
- HTTP Path 配置：用於定位特定的 Databricks 計算資源和叢集。
- 標準資料庫端口操作：提供 Select、Lookup、Upsert 和 Stored Procedure 用於資料操作。
建立連線
要允許知行之橋使用 Databricks 中的資料，必須首先建立到 Databricks 的連線。有兩種方式可以建立此連線：- 將 Databricks 端口新增到工作流程中。然後在設定窗格中，單擊 Connection 下拉式清單旁邊的 Create。
- 開啟知行之橋系統設定 頁面，然後開啟 Connections 索引標籤。單擊 Add，選擇 Databricks，然後單擊 Next。
- 登入過程僅在首次建立連線時需要。
- Databricks 連線可以在多個 Databricks 端口之間重複使用。
輸入連線設定
開啟新的連線對話方塊後，請按照以下步驟操作：-
輸入連線資訊：
- Name — 連線的固定名稱。
- Type — 始終設定為 Databricks。
- Auth Scheme — 用於連線的身分驗證方案。選項為 Personal Access Token 和 Azure Service Principal。
-
根據所選 Auth Scheme 建立連線：
- Personal Access Token — 輸入以下資訊：
- Server — 託管 Databricks 的伺服器主機名或 IP 地址。
- HTTP Path — Databricks 例項上傳送 API 請求的端點路徑，通常格式為
/sql/1.0/warehouses/{warehouse_id}。 - Access Token — Databricks 存取權杖。
- Azure Service Principal — 輸入以下資訊：
- Server — 託管 Databricks 的伺服器主機名或 IP 地址。
- HTTP Path — Databricks 例項上傳送 API 請求的端點路徑，通常格式為
/sql/1.0/warehouses/{warehouse_id}。 - AzureTenantId — Microsoft Azure Active Directory 的租戶 ID。
- AzureClientId — Microsoft Azure Active Directory 應用程式的應用程式（用戶端）ID。
- Azure Client Secret — Microsoft Azure Active Directory 應用程式的應用程式（用戶端）密碼。
- Azure Subscription Id — Microsoft Azure Databricks Service Workspace 的訂閱 ID。
- Azure Resource Group — Microsoft Azure Databricks Service workspace 的資源組名稱。
- Azure Workspace — Microsoft Azure Databricks Service Workspace 的名稱。
- Personal Access Token — 輸入以下資訊：
- 如有必要，單擊 Advanced 開啟高階連線設定下拉功能表。在大多數情況下不需要這些設定。
- 單擊 Test Connection，確保知行之橋可以使用所提供的資訊連線到 Databricks。如果發生錯誤，請檢查所有欄位並重試。
- 單擊 Add Connection 完成連線。
- 在端口配置窗格的 Connection 下拉式清單中，選擇新建立的連線。
- 單擊 Save Changes。
選擇一個操作
與 Databricks 建立連線後，必須選擇 Databricks 端口將執行的操作。下表概觀了每個操作及其在知行之橋工作流程中的位置。進階選項卡
高階索引標籤上的許多設定都是從正在使用的資料來源動態載入的，因此本文件中未介紹這些設定。可以在我們網站的線上幫助檔案頁面上找到資料來源的詳細資訊。 下面描述的選項適用於所有資料來源。訊息
儲存至 Sent 資料夾和Sent 資料夾方案設定已棄用，預設處於隱藏狀態。只有先前已啟用這些設定或將其配置為非預設值的端口才會顯示它們。若要保留成功處理的檔案副本，請在工作流程中右鍵單擊該端口，選擇顯示成功路徑，然後將成功路徑連線到File 端口。
進階設定
進階設定 是依賴任意資料庫驅動程式（例如 Database、CData 和 API 端口）以連線到各種資料來源的端口的通用設定。其它
其它設定 適用於特定用例。自動化索引標籤
自動化設定
與端口自動處理檔案相關的設定。效能
與分配給端口的資源相關的設定。通知索引標籤
與配置通知相關的設定。 在執行服務等級協議 (SLA) 之前，需要設定電子郵件通知。預設情況下，知行之橋使用通知索引標籤上的全域設定。要為此端口使用其他設定，請啟用 覆蓋全域設定。 預設情況下，錯誤通知已啟用，這意味著每當發生錯誤時都會傳送電子郵件。要關閉它們，請取消選中 啟用 核取方塊。 輸入 主題（必填），然後可選地輸入以逗號分隔的 收件人 電子郵件清單。SLA 索引標籤
與配置服務等級協議 (SLA) 相關的設定。 SLA 允許配置期望工作流程中的端口傳送或接收的資料量，並設定期望達到該資料量的時間範圍。當 SLA 未滿足時，知行之橋會傳送電子郵件警告使用者，並將 SLA 標記為 有風險，這意味著如果 SLA 很快仍未滿足，則會被標記為 已違反。這使使用者有機會介入並確定 SLA 未滿足的原因，並採取適當措施。如果在風險時間段結束時仍未滿足 SLA，SLA 會被標記為已違反，並再次通知使用者。 要定義 SLA，請啟用 預期資料量，然後單擊 設定 索引標籤。
- 如果端口具有單獨的傳送和接收操作，請使用選項按鈕指定 SLA 適用的方向。
- 在視窗的 預計至少 部分：
- 設定期望處理的最小交易數（數量）
- 使用 每 欄位指定時間範圍
- 指定 SLA 應何時生效。如果選擇 開始於，請填寫日期和時間欄位。
- 勾選希望 SLA 生效的星期幾。如有需要，使用下拉功能表選擇 每天。
- 在視窗的 將狀態設定為“有風險” 部分，指定何時應將 SLA 標記為有風險。
- 預設情況下，只有違反 SLA 後才會傳送通知。若要更改此設定，請選中 傳送“有風險”通知。
如有必要，可以關閉 SLA 通知。這在維護視窗期間非常有用。單擊導覽列上的 Settings，然後導航到 Alerts > General Alerts。單擊平板和鉛筆圖示進行編輯，並取消選中 SLA Alerts 設定。
宏
在檔案命名策略中使用宏可以提高組織效率和對資料的上下文理解。透過將宏合併到檔名中，可以動態包含識別碼、時間戳和訊息頭資訊等相關資訊，為每個檔案提供有價值的上下文。這有助於確保檔名反映對組織重要的詳細資訊。 知行之橋支援這些宏，它們都使用以下語法：%Macro%。
範例
某些宏（例如 %Ext% 和 %ShortDate%）不需要參數，但其他宏需要。所有帶參數的宏都使用以下語法：%Macro:argument%
以下是一些帶參數宏的範例：
- %Header:headername%：其中
headername是訊息上訊息頭的名稱。 - %Header:mycustomheader% 替換為輸入訊息上設定的
mycustomheader訊息頭的值。 - %Header:ponum% 替換為輸入訊息上設定的
ponum訊息頭的值。 - %RegexFilename:pattern%：其中
pattern是規則運算式模式。例如，%RegexFilename:^([\w][A-Za-z]+)%會匹配並替換為檔名中的第一個單詞，且不區分大小寫（test_file.xml替換為test）。 - %Vault:vaultitem%：其中
vaultitem是保管庫中專案的名稱。例如，%Vault:companyname%替換為保管庫中儲存的companyname項的值。 - %DateFormat:format%：其中
format是可接受的日期格式（詳見範例日期格式）。例如，%DateFormat:yyyy-MM-dd-HH-mm-ss-fff%替換為檔案上的日期和時間戳。
- 在一個檔名中組合多個宏：
%DateFormat:yyyy-MM-dd-HH-mm-ss-fff%%EXT% - 包含宏之外的文字：
MyFile_%DateFormat:yyyy-MM-dd-HH-mm-ss-fff% - 在宏中包含文字：
%DateFormat:'DateProcessed-'yyyy-MM-dd_'TimeProcessed-'HH-mm-ss%