Muitos usuários enfrentam o desafio de como reduzir os registros a serem processados em suas plataformas de dados e análise, quando o objeto de origem não é compatível com delta. Isso significa que eles precisam extrair os dados completos do sistema de origem e processar todos os registros integralmente em suas plataformas de dados e análise. Neste artigo, gostaria de mostrar como reduzir os registros a serem processados no SAP Datasphere, para que apenas registros novos, modificados e excluídos sejam processados e o Change Data Capture possa ser utilizado para processamento adicional de dados por meio do Fluxo de Transformação.
Estas são as etapas que precisam ser implementadas no SAP Datasphere:
No nosso caso, a tabela remota e a integração dos dados na primeira tabela local «rw_cskt» no SAP Datasphere já foram concluídas. Aqui está a propriedade da tabela local «rw_cskt»:
1. Crie uma visualização SQL «vw_rw_cskt_delta_test» para extrair apenas registros novos, modificados e excluídos da tabela de origem local «rw_cskt»
No código-fonte, as chaves e todas as colunas de cada linha (tabela de origem e tabela de destino) são transformadas em formato binário e depois em formato hash MD5. As alterações nos registros existentes na tabela de origem e destino são verificadas, sendo o Tipo de Mudança definido como ‘U’ quando necessário. Novos registros são identificados comparando as colunas-chave nas tabelas de origem e destino, e registros excluídos são detectados comparando apenas as colunas-chave.
2. Use esta visualização SQL «vw_rw_cskt_delta_test» como fonte de dados para um novo fluxo de transformação «tf_rw_cskt_Delta»
3. Crie uma nova tabela local como destino com Delta Capture habilitado
Os campos «Tipo de modificação» e «Data de modificação» não precisam ser mapeados, pois serão preenchidos automaticamente pelo SAP Datasphere. O tipo de carregamento escolhido é somente inicial, já que a View não suporta Delta Capture.
4. Execute o fluxo de transformação
Após implantar e executar o fluxo de transformação, apenas dois registros são processados pelo Transformation Flow.
Resumo:
Espero que essa abordagem ajude a reduzir o volume de registros a serem processados no SAP Datasphere, especialmente ao lidar com grandes quantidades de dados. Após o processamento dos dados, a tabela local de destino pode ser utilizada como fonte de dados para outros fluxos de transformação delta, lógica de negócios ou outros fins.
Obrigado
Wanda Soetomo