Skip to main content

Conexão de linhagem de dados

Use o Alteryx One para transferir metadados de linhagem do Server para um catálogo de dados externo. Cada espaço de trabalho é compatível com uma conexão um para um entre um Server e um catálogo.

Cuidado

Para habilitar a funcionalidade de linhagem de dados, a entidade de serviço usada para comunicação entre o Server e o Alteryx One deve ter a função de administrador atribuída. Atualmente, não há suporte para funções personalizadas baseadas na função de administrador com capacidades reduzidas.

Como resultado, a entidade de serviço requer temporariamente permissões mais amplas do que o pretendido. Essa limitação afeta apenas o Alteryx One e não afeta o Server ou qualquer código em execução nele. Estamos cientes desse problema e planejamos resolvê-lo em uma atualização futura.

Antes de começar

Certifique-se de que os endereços IP do Alteryx One estejam na lista de permissões. Esses endereços IP podem ser encontrados na página de documentação Comece a usar a Plataforma Alteryx One.

Fornecemos informações de linhagem de dados para execuções do Alteryx Server no formato OpenLineage, um padrão aberto para capturar metadados do pipeline. Isso permite uma integração perfeita com os principais consumidores de eventos OpenLineage, incluindo Collibra e Atlan, com suporte à governança, descoberta e colaboração. Observe que o Collibra e o Atlan não são configurados nem gerenciados pela Alteryx.

Para obter mais informações sobre ferramentas e tipos de conexão compatíveis, vá para Ferramentas com suporte para linhagem no nível da coluna.

Segurança de linhagem de dados

Nenhuma informação de linhagem é armazenada no Server nem na nuvem. Os dados só fluem em trânsito e isso é criptografado usando criptografia TLS.

Dados enviados do Alteryx Server para o Serviço de linhagem na nuvem

Quando um fluxo de trabalho é executado no Alteryx Server, coletamos informações de linhagem de dados no nível do fluxo de trabalho.

Quando um fluxo de trabalho é executado, ocorrem os seguintes eventos:

  • INÍCIO: a execução do fluxo de trabalho é iniciada.

  • EM EXECUÇÃO: o fluxo de trabalho entra em um estado em execução. Ele pode permanecer nesse estado ou loop até avançar para um resultado.

  • Estados de resultados: após a execução, o fluxo de trabalho pode transitar para um dos vários resultados possíveis:

    • CONCLUSÃO: o fluxo de trabalho é concluído com sucesso.

    • ANULAÇÃO: o fluxo de trabalho é interrompido intencionalmente antes da conclusão.

    • FALHA: o fluxo de trabalho encontra um erro e falha.

Para cada evento, coletamos os metadados relevantes necessários para que o Serviço de linhagem na nuvem crie os eventos OpenLineage.

Exemplos

Evento de INÍCIO enviado no início da execução

{
    "eventTime": "2024-11-22T00:00:00Z",
    "eventType": "START",
    "job": {
        "name": "TestWorkflow"
    },
    "run": {
        "runId": "00000000-0000-0000-0000-000000000000"
    }
}

Evento de EM EXECUÇÃO enviado ao estabelecer conjuntos de dados de entrada/saída

{
    "eventTime": "2024-11-22T00:01:00Z",
    "eventType": "RUNNING",
    "run": {
        "runId": "00000000-0000-0000-0000-000000000000"
    },
    "job": {
        "name": "TestWorkflow"
    },
    "inputs": [
        {
            "name": "input_a.csv",
            "namespace": "file"
        }
    ]
}

Evento de CONCLUSÃO enviado após a execução bem-sucedida

{
    "eventTime": "2024-11-22T00:04:00Z",
    "eventType": "COMPLETE",
    "run": {
        "runId": "00000000-0000-0000-0000-000000000000"
    },
    "job": {
        "name": "TestWorkflow"
    }
}

Evento FALHA enviado na execução com falha

{
    "eventTime": "2024-10-21T14:30:00Z",
    "eventType": "FAIL",
    "run": {
        "runId": "00000000-0000-0000-0000-000000000000"
    },
    "job": {
        "name": "TestWorkflow"
    }
}

Metadados adicionais

Quando esses eventos são acionados, o AlteryxService consolida todos os eventos relevantes e fornece os metadados adicionais para envio final para o Serviço de linhagem na nuvem, como:

  • job.name: uma cadeia de caracteres (string) concatenada que contém o nome do fluxo de trabalho e o ID do aplicativo de serviço.

    Exemplo: GenerateSalesDetail|01JTKMDMZZPXDD8NY51XKR5A5F

  • Proprietário: o ID do usuário do proprietário do fluxo de trabalho.

  • Estúdio: o ID da assinatura associado ao estúdio do fluxo de trabalho (somente para execuções manuais).

  • URL do Server: um URL do Server que envia você para a página de detalhes do fluxo de trabalho na IU do Server.

    O serviceId corresponde ao campo appInfos.serviceId, que é mapeado para o campo AS_Applications.id (ou AS__application_id no registro AS_Queue).

  • ServerJob.id: o identificador exclusivo do trabalho.

Dados enviados dos Serviços de linhagem na nuvem para o Consumidor de linhagem

Depois que o Serviço de linhagem na nuvem recebe os metadados do Alteryx Server, ele envia os eventos OpenLineage formatados relevantes para o Consumidor de linhagem.

Exemplos de informações de linhagem no nível do conjunto de dados

Exemplo de JSON de INÍCIO de linhagem aberto

{
  "eventType": "START",
  "eventTime": "2024-12-20T13:39:37.554Z", 
  "run": {
    "runId": "acde070d-8c4c-4f0d-9d8a-162843c10333" 
  },
  "job": {
    "namespace": "Alteryx-demo",
    "name": "Lineage Connection Workflow|5ea20186a171a51bc4c37155", 
  },
  "producer": "us1.alteryxcloud.com/lineageservice:0.0.1 ",
  "schemaUrl": "https://tools.ietf.org/html/rfc6901"
}

Exemplo de JSON de CONCLUSÃO de linhagem aberto

{
  "eventType": "COMPLETE",
  "eventTime": "2024-12-20T14:00:37.554Z", 
  "run": {
    "runId": "acde070d-8c4c-4f0d-9d8a-162843c10333" 
  },
  "job": {
    "namespace": "Alteryx-demo", 
    "name": "Lineage Connection Workflow|5ea20186a171a51bc4c37155"
  },
   "inputs": [{
    "namespace": "snowflake://tjb31106",
    "name": "AYX_LINEAGE_DB.ELLENS_DATA.AYX_COLORADO_STORES_SUMMARIZE"
  },
            {
    "namespace": "file",
    "name": "E:/ProgramData/Alteryx/Service/Staging/State Population Output.yxdb"
            }],
  "outputs": [
    {
        "namespace": "file",
        "name": "E:/ProgramData/Alteryx/Service/Staging/State Population Output.yxdb"
      },
    {
    "namespace": "snowflake://tjb31106",
    "name": "AYX_LINEAGE_DB.ELLENS_DATA.LAINE_TABLE"
  }],
  "producer": "us1.alteryxcloud.com/lineageservice:0.0.1 ",
  "schemaUrl": "https://tools.ietf.org/html/rfc6901"
}

Exemplo de JSON de FALHA de linhagem aberto

{
  "eventType": "FAIL",
  "eventTime": "2024-12-20T14:00:37.554Z", 
  "run": {
    "runId": "acde070d-8c4c-4f0d-9d8a-162843c10333" 
  },
  "job": {
    "namespace": "Alteryx-demo",
    "name": "Lineage Connection Workflow|5ea20186a171a51bc4c37155"
  },
   "inputs": [{
    "namespace": "snowflake://tjb31106",
    "name": "AYX_LINEAGE_DB.ELLENS_DATA.AYX_COLORADO_STORES_SUMMARIZE"
  },
            {
    "namespace": "file",
    "name": "E:/ProgramData/Alteryx/Service/Staging/State Population Output.yxdb"
            }],
  "outputs": [ 
    {
        "namespace": "file",
        "name": "E:/ProgramData/Alteryx/Service/Staging/State Population Output.yxdb"
      },
    {
    "namespace": "snowflake://tjb31106",
    "name": "AYX_LINEAGE_DB.ELLENS_DATA.LAINE_TABLE"
  }],
  "producer": "us1.alteryxcloud.com/lineageservice:0.0.1 ",
  "schemaUrl": "https://tools.ietf.org/html/rfc6901"
}

Exemplo de JSON de ANULAÇÃO de linhagem aberto

{
  "eventType": "ABORT",
  "eventTime": "2024-12-20T14:00:37.554Z",
  "run": {
    "runId": "acde070d-8c4c-4f0d-9d8a-162843c10333" 
  },
  "job": {
    "namespace": "Alteryx-demo",
    "name": "Lineage Connection Workflow|5ea20186a171a51bc4c37155"
  },
   "inputs": [{
    "namespace": "snowflake://tjb31106",
    "name": "AYX_LINEAGE_DB.ELLENS_DATA.AYX_COLORADO_STORES_SUMMARIZE"
  },
            {
    "namespace": "file",
    "name": "E:/ProgramData/Alteryx/Service/Staging/State Population Output.csv"
            }],
  "outputs": [
    {
        "namespace": "file",
        "name": "E:/ProgramData/Alteryx/Service/Staging/State Population Output.csv"
      },
    {
    "namespace": "snowflake://tjb31106",
    "name": "AYX_LINEAGE_DB.ELLENS_DATA.LAINE_TABLE"
  }],
  "producer": "us1.alteryxcloud.com/lineageservice:0.0.1 ",
  "schemaUrl": "https://tools.ietf.org/html/rfc6901" 
}

Exemplos de informações de linhagem no nível da coluna

Exemplo de JSON de CONCLUSÃO de linhagem aberto

{
    "eventType": "COMPLETE",
    "eventTime": "2025-10-06T17:46:27.695Z",
    "run": {
        "runId": "173fc3f9-1501-4749-beae-32b56796596e",
        "facets": {
            "nominalTime": null,
            "parent": null
        }
    },
    "job": {
        "namespace": "AlteryxTest",
        "name": "ProductSales|68c48138430ae827850e8498",
        "facets": {
            "documentation": null,
            "sourceCodeLocation": {
                "_producer": "https://ayx-sandbox.bender.rocks/data-lineage-service/v1/datalineage",
                "_schemaURL": "https://openlineage.io/spec/facets/1-0-1/SourceCodeLocationJobFacet.json",
                "type": "Alteryx Server",
                "url": "http://AYX-LT-5MGCB54/gallery/#/app/app/68c48138430ae827850e8498/?type=service"
            },
            "sql": null,
            "jobType": null,
            "ownership": {
                "owners": [
                    {
                        "name": "68b9acee6065b0e905f38ea3",
                        "type": "USER"
                    },
                    {
                        "name": "68b9acee6065b0e905f38ea0",
                        "type": "SUBSCRIPTION"
                    }
                ],
                "_producer": "https://ayx-sandbox.bender.rocks/data-lineage-service/v1/datalineage",
                "_schemaURL": "https://openlineage.io/spec/facets/1-0-1/OwnershipJobFacet.json"
            },
            "serverJob": {
                "id": "68e40070b8565a17ce0ac2e7",
                "_producer": "https://ayx-sandbox.bender.rocks/data-lineage-service/v1/datalineage",
                "_schemaURL": "https://openlineage.io/spec/2-0-2/OpenLineage.json#/definitions/BaseFacet"
            }
        }
    },
    "inputs": [
        {
            "namespace": "file",
            "name": "C:\\ProgramData\\Alteryx\\Service\\Staging\\45816_d3034dfd34e946a48485299407c307a0\\_externals\\1\\Products.xlsx",
            "facets": {
                "documentation": null,
                "schema": null,
                "dataSource": null,
                "description": null,
                "lifecycleStateChange": null,
                "columnLineage": null,
                "symlinks": null
            },
            "inputFacets": {},
            "outputFacets": null
        },
        {
            "namespace": "file",
            "name": "C:\\ProgramData\\Alteryx\\Service\\Staging\\45816_d3034dfd34e946a48485299407c307a0\\_externals\\1\\OrderDetails.xlsx",
            "facets": {
                "documentation": null,
                "schema": null,
                "dataSource": null,
                "description": null,
                "lifecycleStateChange": null,
                "columnLineage": null,
                "symlinks": null
            },
            "inputFacets": {},
            "outputFacets": null
        }
    ],
    "outputs": [
        {
            "namespace": "file",
            "name": "C:\\ProgramData\\Alteryx\\Service\\Staging\\45816_d3034dfd34e946a48485299407c307a0\\_externals\\1\\TotalSales.csv",
            "facets": {
                "documentation": null,
                "schema": null,
                "dataSource": null,
                "description": null,
                "lifecycleStateChange": null,
                "columnLineage": {
                    "_producer": "https://ayx-sandbox.bender.rocks/data-lineage-service/v1/datalineage",
                    "_schemaURL": "https://openlineage.io/spec/facets/1-2-0/ColumnLineageDatasetFacet.json",
                    "fields": {
                        "OrderID": {
                            "inputFields": [
                                {
                                    "namespace": "file",
                                    "name": "C:\\ProgramData\\Alteryx\\Service\\Staging\\45816_d3034dfd34e946a48485299407c307a0\\_externals\\1\\OrderDetails.xlsx",
                                    "field": "OrderID",
                                    "transformations": [
                                        {
                                            "subtype": "IDENTITY",
                                            "type": "DIRECT"
                                        }
                                    ]
                                }
                            ],
                            "transformationDescription": null,
                            "transformationType": null
                        },
                        "Category": {
                            "inputFields": [
                                {
                                    "namespace": "file",
                                    "name": "C:\\ProgramData\\Alteryx\\Service\\Staging\\45816_d3034dfd34e946a48485299407c307a0\\_externals\\1\\Products.xlsx",
                                    "field": "Category",
                                    "transformations": [
                                        {
                                            "subtype": "IDENTITY",
                                            "type": "DIRECT"
                                        }
                                    ]
                                }
                            ],
                            "transformationDescription": null,
                            "transformationType": null
                        },
                        "NewCount": {
                            "inputFields": [
                                {
                                    "namespace": "file",
                                    "name": "C:\\ProgramData\\Alteryx\\Service\\Staging\\45816_d3034dfd34e946a48485299407c307a0\\_externals\\1\\OrderDetails.xlsx",
                                    "field": "Quantity",
                                    "transformations": [
                                        {
                                            "subtype": "TRANSFORMATION",
                                            "type": "DIRECT"
                                        }
                                    ]
                                }
                            ],
                            "transformationDescription": null,
                            "transformationType": null
                        },
                        "ProductID": {
                            "inputFields": [
                                {
                                    "namespace": "file",
                                    "name": "C:\\ProgramData\\Alteryx\\Service\\Staging\\45816_d3034dfd34e946a48485299407c307a0\\_externals\\1\\Products.xlsx",
                                    "field": "ProductID",
                                    "transformations": [
                                        {
                                            "subtype": "IDENTITY",
                                            "type": "DIRECT"
                                        }
                                    ]
                                }
                            ],
                            "transformationDescription": null,
                            "transformationType": null
                        },
                        "TotalSale": {
                            "inputFields": [
                                {
                                    "namespace": "file",
                                    "name": "C:\\ProgramData\\Alteryx\\Service\\Staging\\45816_d3034dfd34e946a48485299407c307a0\\_externals\\1\\OrderDetails.xlsx",
                                    "field": "Quantity",
                                    "transformations": [
                                        {
                                            "subtype": "TRANSFORMATION",
                                            "type": "DIRECT"
                                        }
                                    ]
                                },
                                {
                                    "namespace": "file",
                                    "name": "C:\\ProgramData\\Alteryx\\Service\\Staging\\45816_d3034dfd34e946a48485299407c307a0\\_externals\\1\\Products.xlsx",
                                    "field": "UnitPrice",
                                    "transformations": [
                                        {
                                            "subtype": "TRANSFORMATION",
                                            "type": "DIRECT"
                                        }
                                    ]
                                }
                            ],
                            "transformationDescription": null,
                            "transformationType": null
                        },
                        "ProductName": {
                            "inputFields": [
                                {
                                    "namespace": "file",
                                    "name": "C:\\ProgramData\\Alteryx\\Service\\Staging\\45816_d3034dfd34e946a48485299407c307a0\\_externals\\1\\Products.xlsx",
                                    "field": "ProductName",
                                    "transformations": [
                                        {
                                            "subtype": "IDENTITY",
                                            "type": "DIRECT"
                                        }
                                    ]
                                }
                            ],
                            "transformationDescription": null,
                            "transformationType": null
                        },
                        "OrderDetailID": {
                            "inputFields": [
                                {
                                    "namespace": "file",
                                    "name": "C:\\ProgramData\\Alteryx\\Service\\Staging\\45816_d3034dfd34e946a48485299407c307a0\\_externals\\1\\OrderDetails.xlsx",
                                    "field": "OrderDetailID",
                                    "transformations": [
                                        {
                                            "subtype": "IDENTITY",
                                            "type": "DIRECT"
                                        }
                                    ]
                                }
                            ],
                            "transformationDescription": null,
                            "transformationType": null
                        }
                    }
                },
                "symlinks": null
            },
            "inputFacets": null,
            "outputFacets": {}
        }
    ],
    "producer": "https://ayx-sandbox.bender.rocks/data-lineage-service/v1/datalineage",
    "schemaURL": "https://openlineage.io/spec/2-0-2/OpenLineage.json#/$defs/RunEvent"
}

Dados armazenados no Serviço de linhagem na nuvem

Armazenamos apenas as informações de configuração usadas para estabelecer a conexão entre o Serviço de linhagem na nuvem e o Consumidor de linhagem.

Período de retenção de dados: indeterminado.

Exemplo

Configuração do Atlan

  • Abrir ponto de extremidade de linhagem: https://alteryx.atlan.com/v1/lineage

  • Abrir namespace de linhagem: Alteryx-Atlan

  • Método de autenticação: Token do portador

  • Token do portador: Portador eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJ1c2VyX2lkIjoiMTIzNDU2IiwidXNlcm5hbWUiOiJ0ZXN0X3VzZXIiLCJleHAiOjE3MTQ5MDYwMDB9.SflKxwRJS

Configuração do Collibra

  • Ponto de extremidade: http://localhost:8888/debug.test

  • Namespace: Alteryx_Collibra

  • Método de autenticação: Nenhum

Configurar conexão de linhagem de dados

Para configurar sua conexão de linhagem de dados, vá para Console de administração > Conexão de linhagem de dados.

Consumidor de dados: catálogo de dados externos

Configure, edite ou exclua uma conexão do catálogo de dados.

Configurar conexão do catálogo de dados

Para habilitar a transferência de metadados de linhagem do Server, configure um catálogo de dados, como Atlan ou Collibra.

  1. No menu, vá para Console de administração > Conexão de linhagem de dados.

  2. Em Consumidor de dados, selecione Configurar para um Catálogo de dados externos.

  3. A página Configuração do catálogo de dados é aberta.

  4. Em Rede privada, marque a caixa de seleção O catálogo de dados está na rede privada se o catálogo de dados estiver implantado em um ambiente de rede privada que não seja acessível pela Internet pública.

  5. Em Ponto de extremidade do OpenLineage, insira o URL completo para onde o Alteryx deve enviar dados de eventos OpenLineage.

  6. Em Namespace do OpenLineage, insira o namespace do trabalho do OpenLineage. Consulte a documentação do seu catálogo de dados para obter detalhes sobre os requisitos de namespace.

  7. Em Método de autenticação, selecione o método de autenticação no menu suspenso.

    Selecione Nenhum ou Token do portador.

    • Se você selecionar Nenhum, nenhuma credencial de autenticação será passada ao se conectar ao catálogo de dados. Use essa opção somente se o catálogo não exigir autenticação. Se o catálogo exigir autenticação, escolher Nenhum resultará em falhas de conexão.

    • Se você selecionar Token do portador, insira o token, conforme criado no catálogo de dados, no campo Token do portador.

  8. Em Nível de linhagem de dados, selecione Conjunto de dados ou Coluna no menu suspenso.

    O Nível de linhagem de dados define o quão detalhado você deseja que o rastreamento de linhagem seja.Essa configuração se aplica somente a novas execuções. Se o serviço de linhagem estiver inativo, o Server usará a última configuração conhecida ou a configuração padrão para o nível do conjunto de dados. Quando o serviço for restaurado, as novas execuções seguirão o nível selecionado.

    Para obter mais informações sobre os tipos de conexão, vá para Ferramentas com suporte para linhagem no nível da coluna, seção Tipos de conexão com suporte.

    • Selecione Conjunto de dados se quiser definir a linhagem apenas no nível do conjunto de dados. O Alteryx não enviará informações de mapeamento.

      A linhagem no nível do conjunto de dados mostra como conjuntos de dados inteiros (como tabelas, arquivos ou exibições) se movem e se transformam entre os sistemas. Ela fornece uma visão geral de alto nível do fluxo de dados.

    • Selecione Coluna se quiser definir a linhagem até colunas individuais.

      A linhagem no nível da coluna rastreia a jornada de campos ou atributos individuais dentro de um conjunto de dados. Ela explica exatamente como cada coluna foi gerada, transformada ou agregada. Para obter mais informações, vá para Ferramentas com suporte para linhagem no nível da coluna.

  9. Para testar essa conexão, clique em Testar conexão.

    Nota

    Se você tiver marcado a caixa de seleção O catálogo de dados está na rede privada na etapa 4, o botão "Testar conexão" estará esmaecido. Para testar a conexão, vá para Configurações de sistema do Alteryx > Controlador > Conexões - Alteryx One. Para obter mais informações, consulte Controlador.

  10. Clique em Salvar.

Agora que você configurou a conexão do catálogo de dados. Ele aparecerá na seção Consumidor de dados.

Editar ou excluir a conexão do catálogo de dados

Vá para a seção "Consumidor de dados" e localize a conexão de dados que você deseja editar ou excluir. Em seguida, clique em Exibir detalhes para ver os Detalhes da conexão do catálogo de dados.

Para editar uma conexão do catálogo de dados, clique em Editar.

Para excluir uma conexão do catálogo de dados, clique no menu de 3 pontos e clique em Excluir.

Fonte de dados: Server

Depois de configurar o Catálogo de dados externos, você pode conectar o Alteryx One ao Server para transferir metadados de linhagem para o catálogo de dados.

Configurar a conexão com o Server

Para enviar metadados de linhagem para o catálogo, habilite o Server para se conectar ao espaço de trabalho do Alteryx One.

  1. No menu, vá para Console de administração > Conexão de linhagem de dados.

  2. Em Fonte de dados, selecione Configurar para o Server.

  3. A página Configurar o Server é aberta.

  4. Insira o Nome do servidor para ajudar a identificá-lo neste espaço de trabalho.

  5. Agora, gere o Payload de link do Server. Para fazê-lo, vá para Criar Payload de link do Server e selecione Gerar payload. Copie e cole-o nas Configurações de sistema do Alteryx para concluir a configuração. Para obter mais informações sobre onde inserir o payload de link do Server e como testá-lo no Server, vá para Controlador.

    O payload inclui o ID do cliente e o segredo do cliente associados à entidade de serviço.

  6. Clique em Concluído.

Agora, você configurou a conexão do Server.

Editar ou excluir a conexão do Server

Vá para a seção "Fonte de dados" e localize a conexão de dados do Server que você deseja editar ou excluir. Em seguida, clique em Exibir detalhes para ver os Detalhes da conexão do Server.

Para editar uma conexão do catálogo de dados, clique em Editar.

Para excluir uma conexão do catálogo de dados, clique no menu de 3 pontos e clique em Excluir.

Nesta secção: