本文内容

适用于：

Azure 数据工厂

Azure Synapse Analytics

Azure 数据工厂中的“管道运行”用于定义管道执行实例。 例如，假设你有一个管道，它在上午 8:00、9:00 和 10:00 点运行。 在这种情况下，将有三次独立的管道运行。 每次管道运行都有唯一的管道运行 ID。 运行 ID 是标识该特定管道运行的全局唯一标识符 (GUID)。

管道运行通常通过将自变量传递给管道中定义的参数进行实例化。 你可以手动运行管道，也可以使用触发器来这样做。 有关详细信息，请参阅 Azure 数据工厂中的管道执行和触发器。

常见问题、原因和解决方案Azure Functions 应用管道在建立专用终结点连接时引发错误

你已安装数据工厂，并在 Azure 专用终结点上运行一个函数应用。 你正在尝试运行一个与该函数应用交互的管道。 你已尝试三种不同的方法，但其中一种方法返回了错误“错误的请求”，另两种方法返回了“103 禁止错误”。

原因

数据工厂目前不支持对函数应用使用专用终结点连接器。 Azure Functions 拒绝了调用，因为它已配置为仅允许从专用链接进行连接。

分辨率

创建一个 PrivateLinkService 终结点并提供函数应用的 DNS。

管道运行已取消，但监视器仍显示进度状态

原因

很多情况下，取消管道运行后，管道监视仍然显示进度状态。 此问题是由浏览器缓存问题导致的。 你也可能没有合适的监视筛选器。

分辨率

刷新浏览器，并应用正确的监视筛选器。

复制管道时出现“DelimitedTextMoreColumnsThanDefined”错误

原因

如果你要复制的文件夹包含的文件具有不同架构（例如可变列数、不同分隔符、引号字符设置或某个数据问题），则数据工厂管道可能会引发以下错误：

Operation on target Copy_sks failed: Failure happened on 'Sink' side. ErrorCode=DelimitedTextMoreColumnsThanDefined, 'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException, Message=Error found when processing 'Csv/Tsv Format Text' source '0_2020_11_09_11_43_32.avro' with row number 53: found more columns than expected column count 27., Source=Microsoft.DataTransfer.Common,'

分辨率

创建复制活动时选择“二进制复制”选项。 这样一来，若要将数据从一个数据湖批量复制或迁移到另一个数据湖，数据工厂不需打开文件来读取架构。 数据工厂会将每个文件视为二进制文件并将其复制到其他位置。

达到数据流集成运行时的容量限制时管道运行失败

问题

错误消息：

Type=Microsoft.DataTransfer.Execution.Core.ExecutionException,Message=There are substantial concurrent MappingDataflow executions which is causing failures due to throttling under Integration Runtime 'AutoResolveIntegrationRuntime'.

原因

已达到集成运行时的容量限制。 你可能在使用同一个集成运行时同时运行大量数据流。 有关详细信息，请参阅 。

分辨率

在 Web 活动中调用 REST API 时，管道运行错误

问题

错误消息：

Operation on target Cancel failed: {“error”:{“code”:”AuthorizationFailed”,”message”:”The client ‘’ with object id ‘’ does not have authorization to perform action ‘Microsoft.DataFactory/factories/pipelineruns/cancel/action’ over scope ‘/subscriptions//resourceGroups//providers/Microsoft.DataFactory/factories//pipelineruns/

’ or the scope is invalid. If access was recently granted, please refresh your credentials.”}}

原因

当且仅当 Azure 数据工厂成员被分配到“参与者”角色时，管道才能使用 Web 活动调用 ADF REST API 方法。 必须首先配置 Azure 数据工厂托管标识并将它添加到“参与者”安全角色。

分辨率

在 Web 活动的“设置”选项卡中使用 Azure 数据工厂的 REST API 之前，必须先配置安全性。 当且仅当 Azure 数据工厂托管标识被分配了“参与者”角色时，Azure 数据工厂管道才能使用 Web 活动调用 ADF REST API 方法。 首先打开 Azure 门户，然后单击左侧菜单中的“所有资源”链接。 单击“添加角色分配”框中的“添加”按钮，选择“Azure 数据工厂”，添加具有“参与者”角色的 ADF 托管标识。

如何检查和转移管道中活动级别的成功和失败

原因

Azure 数据工厂业务流程允许条件逻辑，使用户能够根据前面的活动的结果采用不同的路径。 它允许四个条件路径：“成功时（默认通过）”、“失败时”、“完成时”和“跳过时”。

Azure 数据工厂会评估所有叶级活动的结果。 仅当所有叶都成功时，管道结果才是成功的。 如果跳过了某个叶活动，则会改为评估其父活动。

分辨率

如何按固定的时间间隔监视管道失败

原因

你可能需要按特定时间间隔（例如 5 分钟）监视数据工厂管道。 可以使用终结点从数据工厂查询和筛选管道运行。

分辨率

提高并行度不会导致吞吐量有所增加

原因

ForEach 中的并行度实际上是最大并行度。 我们无法保证同时发生特定数量的执行，但此参数将保证永不超出所设置的值。 应将此值视为在控制对源和接收器的并发访问时使用的限制。

有关 ForEach 的已知事实

分辨率

管道处于排队状态或长时间停滞

原因

发生这种情况的原因有多种，例如达到了并发限制、服务中断、网络故障，等等。

分辨率

ADF 复制和数据流中活动的启动时间很长

原因

如果尚未对数据流或优化的 SHIR 实现生存时间功能，则可能会发生这种情况。

分辨率

遇到 SHIR（自承载 Integration Runtime）的容量问题

原因

如果未根据工作负载纵向扩展 SHIR，则可能会发生这种情况。

分辨率

由于 ADF 复制和数据流队列较长而出现错误消息

原因

由于各种原因，可能会出现与长队列相关的错误消息。

分辨率

错误消息 - "code":"BadRequest", "message":"null"

原因

这是一个用户错误，因为触及 的 JSON 有效负载已损坏。 由于用户调用未到达 ADF 服务层，因此不会存储任何日志。

分辨率

使用 Edge/Chrome 浏览器开发人员工具从 ADF 门户执行对 API 调用的网络跟踪。 你会看到有问题的 JSON

来源【首席数据官】，更多内容/合作请关注「辉声辉语」公众号，送10G营销资料！