migração de banco de dados usando Apache faísca

votos
0

Eu tenho que realizar a migração de um banco de dados abstratos para outro (por exemplo, permite dizer do Oracle para Cassandra) e queremos usar Apache faísca Transmissão para isso. Não é um mapeamento simples de tipos de db um para outro, mas também inclui transformações complexas e de validação. Um caso típico é o de verificar antes da validação / transformação alguma condição de nossos dados em RDD através do olhar para algumas relações de este valor com os valores no todo (talvez também diferente) conjunto de dados (por exemplo, casos em que o nosso valor do RDD é usado em algum outro mesa e queremos verificar isso e executar algumas ações para cada ocorrência ocorrência).

Portanto, temos a opção de usar Apache Ignite com ele é RDD compartilhado para resolver este problema. E quando vamos receber tais dados, que terão de verificação externa de que é correlação com os outros dados de todo o escopo da migração, então vamos simplesmente ir para inflamar (que será usado como um armazenamento temprorary para tais casos), verifique correlações e executar todas as ações necessário marcar com o nosso valor.

Então não SMB tem essa experiência e quais os problemas típicos que possivelmente irá encontrar. É uma boa prática para usar essa arquitetura ou pode ser isso pode ser feito mais eficiente e com melhor design em faísca?

Publicado 18/12/2017 em 09:42
usuário
Em outras línguas...                            

Cookies help us deliver our services. By using our services, you agree to our use of cookies. Learn more