跳转到主要内容
Google Storage 端口从 Google Storage 云存储服务中上传和下载文件。

核心功能

  • Google Cloud Storage 集成,支持 OAuth 身份验证及令牌(Token)自动刷新
  • 基于存储桶(Bucket)的文件组织,支持双向文件传输
  • 支持 Glob 模式匹配过滤,并提供下载后可选删除文件及覆盖保护功能
  • 提供可选的缓存功能,确保仅下载新增或更新的文件

概述

每个 Google Storage 端口与一个特定的 Google Storage 账号连接。在远程存储中,存储桶被设置为上传和/或下载目标。可以在存储桶中指定上传和下载路径,并且过滤规则只用于发送和接收指定的文件名和/或文件扩展名。 知行之桥 工作流中到达 Google Storage 端口的文件将被上传至上传目标文件夹,在下载目标文件夹下的文件会被下载并进入 知行之桥 工作流。 账号认证基于 OAuth,因此使用 Google Storage 端口连接之前必须先获取 OAuth 认证。一旦与 Google 的认证完成,Google Storage 端口会处理刷新 OAuth 令牌的过程,以确保身份验证会一直持续。

端口配置

本部分包含所有可配置的端口属性。

设置

授权

与授权访问远程存储有关的设置。
Google 在生成 OAuth 认证时可能需要 OAuth 回调/重定向 URL。知行之桥 的回调/重定向 URL 与应用程序托管处的地址和端口相同,加下面的源路径:src/oauthCallback.rst。例如,如果 知行之桥 托管在 ‘mydomain.com’ 的 8001 端口,应指定下面的 URL 为回调/重定向 URL:http://mydomain.com:8001/src/oauthCallback.rst。

服务器配置

与目标存储服务器相关的设置。

发送

与上传文件到远程存储服务有关的设置。

接收

与从远程存储中下载文件有关的设置。

缓存

与缓存和比较多次下载之间文件相关的设置。

知行之桥会自动清理资源缓存。此过程在每次接收周期的后台运行,删除远程服务器上已不存在的文件对应的过期缓存条目。这使得缓存大小始终保持在可管理范围内,无需任何手动操作。

默认情况下,文件保留 30 天,但您可以在高级选项卡的其他设置字段中使用 ResourceCacheRetentionDays 设置来调整保留时间以适应您的环境。例如,ResourceCacheRetentionDays=15 表示文件保留 15 天后将被删除。

启用缓存时,文件名不区分大小写。例如,端口无法区分 TEST.TXT 和 test.txt。

高级设置

高级设置

先前目录中没有包含的设置。

代理配置

这是一组用于识别连接所经代理并对其进行身份验证的设置。默认情况下,本节使用 安全设置 页面的 代理设置 部分中的全局设置。清除此复选框可为您的端口提供特定的设置。

设置描述
代理类型基于代理的防火墙使用的协议。
代理主机基于代理的防火墙的名称或 IP 地址。
代理端口基于代理的防火墙的 TCP 端口。
代理用户用于通过基于代理的防火墙进行身份验证的用户名。
代理密码用于对基于代理的防火墙进行身份验证的密码。
身份验证方案保留默认值 None 或选择以下身份验证方案之一:Basic、Digest、Proprietary 或 NTLM。

消息

消息设置确定端口如何搜索消息并在处理后管理它们。

设置描述
保存到已发送文件夹选中此项可将端口处理的文件复制到该端口的“已发送”文件夹中。
已发送文件夹方案端口根据选定的时间间隔对 已发送 文件夹中的文件进行分组。例如,Weekly 选项指示端口每周创建一个新的子文件夹,并将本周发送的所有文件存储在该文件夹中。空白设置告诉端口将所有文件直接保存在 已发送 文件夹中。对于处理许多事务的端口,使用子文件夹可以帮助保持文件有序并提高性能。

日志

用于管理日志创建和存储的设置。

设置描述
日志级别指定要记录在端口日志目录中的信息类型:
  • None - 不创建任何日志。
  • Error - 仅当端口遇到错误时才创建日志。
  • Warning - 仅当端口发出警告时才创建日志。
  • Info - 记录工作流的一般信息,包括任何错误和警告(如果适用)。
  • Debug - 记录成功和失败工作流的详细调试信息。
  • Trace - 记录成功和失败工作流的详细跟踪信息。
请注意:Debug 和 Trace 级别的日志可能会记录敏感信息,包括消息内容和 SSL 证书。尽管连接属性(例如密码)被屏蔽了,但在与您的组织外部共享它们之前,请查看此级别的日志以避免泄漏敏感信息。
日志文件夹结构指示端口根据选定的时间间隔将日志文件夹中的文件分组。例如,Weekly 选项指示端口每周创建一个新的子文件夹,并将该周的所有日志存储在该文件夹中。空白设置告诉端口将所有日志直接保存在日志文件夹中。对于处理许多事务的端口,使用子文件夹有助于保持日志的有序性并提高性能。
保留消息副本指示端口在日志目录中保存最新消息副本的切换。请注意,端口每个子文件夹只保留一个消息,并且端口在再次运行时会覆盖以前保存的消息。

杂项

特殊设置适用于特定用例。

设置描述
其他设置允许在以分号分隔的列表中配置隐藏的端口设置,例如 setting1=value1;setting2=value2。正常的端口用例和功能不需要使用这些设置。

自动化

自动化设置

与端口自动处理文件有关的设置。

性能

与端口资源分配相关的设置。

设置描述
最大工作线程数此端口上处理文件时从线程池中消耗的最大工作线程数。如果设置,则会覆盖 高级设置 页面的 性能设置 部分的默认设置。
最大文件数分配给端口的每个线程发送的最大文件数。如果设置,则会覆盖 高级设置 页面的 性能设置 部分的默认设置。

告警选项卡

SLA 选项卡

建立连接

Google Storage 需要 OAuth 认证以建立连接。OAuth 认证应该通过 Google Console 从 Google 直接获取,然后在设置选项卡上的以下端口字段中指定:
  • OAuth 客户端 ID
  • OAuth 客户端密码
Google 在生成 OAuth 认证时可能需要 OAuth 回调/重定向 URL。知行之桥 的回调/重定向 URL 与应用程序托管处的地址和端口相同,加下面的源路径:src/oauthCallback.rst。例如,如果 知行之桥 托管在 ‘mydomain.com’ 的 8001 端口,应指定下面的 URL 为回调/重定向 URL:http://mydomain.com:8001/src/oauthCallback.rst。 一旦与 Google 的认证完成,Google Storage 端口会处理刷新 OAuth 令牌的过程,以确保身份验证会一直持续。

上传和下载

上传

要上传文件,将服务器配置部分的 桶名称 字段设置为目标存储桶,然后将发送部分的 远程文件夹 字段设置为文件应被上传的文件夹。每个 Google Storage 端口上传到一个特定的文件夹位置。 使用 覆盖远程文件 选项,可以确定是覆盖还是跳过远程文件夹中已存在的文件。 配置之后,放置在端口 事务 选项卡中的文件将会被上传至远程存储。如果 发送自动化 启用,上传将会自动进行;否则,可以通过 事务 选项卡发送单个文件。

下载

要下载文件,将接收部分的 远程文件夹 字段设置为下载文件的文件夹。多个下载文件夹可以使用逗号分隔。 可以将高级设置选项卡上的 接收过滤规则 字段设置为全局过滤规则,以指定应从远程存储下载哪些文件(例如 *.txt)。可以使用负模式来确定 不 下载哪些文件(例如 -*.tmp)。使用逗号分隔列表指定多个过滤规则。 使用 删除 选项用于切换是否从远程存储中删除成功下载的文件。 配置之后,将会根据 接收自动化设置的设置下载文件,或者在 事务 选项卡中通过点击 接收 按钮手动下载。

宏

示例