Dados da blockchain Cardano no BigQuery
Dados on-chain do Cardano no BigQuery
Um site dedicado com documentação do BigQuery e exemplos de consultas pode ser encontrado aqui.
Sobre o BigQuery
De acordo com sua descrição oficial, o BigQuery é um armazém de dados empresarial totalmente gerenciado que ajuda a gerenciar e analisar dados com recursos integrados como aprendizado de máquina, análise geoespacial, e inteligência de negócios. A arquitetura sem servidor do BigQuery permite usar consultas SQL para obter os dados que você está procurando com zero gerenciamento de infraestrutura.
Motivação
Os dados on-chain do Cardano cresceram consideravelmente nos últimos meses. Isso significa que o tempo para sincronizar todo o histórico da blockchain aumenta correspondentemente. Executar um nó e um processo de DB Sync (mapeando os dados on-chain para um banco de dados relacional) agora requer mais tempo e uma instância de software mais robusta.
O Google BigQuery facilita a busca de dados sem a necessidade de executar software especializado. Usando o Google Data Studio, você também pode criar facilmente visualizações avançadas e dashboards baseados nos dados do BigQuery.
Os dados do Cardano no BigQuery são organizados por números de época. Isso permite limitar consultas a uma ou várias épocas de dados, resultando em um custo menor por consulta.
Há várias coisas que você deve observar ao trabalhar com o BigQuery:
- Os dados são buscados (atualizados) do DB Sync a cada duas horas.
- Os dados são atualizados apenas até aproximadamente os últimos 20 blocos antes da altura atual do bloco no DB Sync. Isso é essencial para evitar reversões de blocos no caso de bifurcações da cadeia.
Começando com o BigQuery
Para começar, vá para o conjunto de dados do Cardano mainnet.
Observe que para começar a consultar dados, você precisa ter um projeto Google. Caso você não tenha um projeto Google:
- Faça login no Console do Desenvolvedor Google
- Crie um novo projeto e ative a API do BigQuery.
NB. Se você não consultar o conjunto de dados do seu próprio projeto, você receberá o erro: "Access Denied: Project iog-data-analytics: User does not have bigquery.jobs.create permission in project iog-data-analytics."
Consultando os dados
Você está pronto para trabalhar com o conjunto de dados:
- Abra o conjunto de dados
- Selecione a tabela da qual gostaria de recuperar dados
- Clique na opção ‘consultar’:
Você pode encontrar os exemplos de consultas na seção esquemas de tabela de consulta abaixo.
Analisando os dados
O BigQuery oferece integração perfeita com Google Data Studio.
Para importar os dados para o Data Studio:
- Crie um novo relatório
- Selecione a opção BigQuery:
Você pode agora criar vários gráficos usando o conjunto de dados do Cardano mainnet:
Veja mais exemplos neste relatório do Data Studio.
Custos
O custo para consultar dados do BigQuery é pago pelo indivíduo que os consulta. O BigQuery cobra um valor análogo à quantidade de dados sendo consultados.
Geralmente, o custo é de $7,5 por terabyte (TB) dos dados consultados. Encontre mais informações visitando a página de preços do BigQuery.
Nota que as tabelas de dados do Cardano são divididas por números de época para que as consultas possam ser feitas de acordo com a época de escolha, incorrendo em menos custos.
Atualização e validação dos dados
Os dados no projeto ‘cardano-mainnet’ do BigQuery são atualmente atualizados a cada duas horas incluindo os blocos ‘db-sync’ mais recentes. A visão geral das alturas de blocos no BigQuery vs. PostgreSQL também é atualizada a cada duas horas. Espera-se que os dados no BigQuery não estejam na mesma altura de bloco que no PostgreSQL do ‘db-sync’, no entanto, os dados não devem se desviar muito.
Validação dos dados
Os dados da última época completa entre ‘db-sync’ e BigQuery são validados em cada limite de época. Para isso, calculamos os hashes dos dados em ordem canônica em ambos os bancos de dados e os comparamos.
Este relatório mostra os resultados da validação de dados para todas as tabelas.
Esquemas de tabela de consulta
Acesse Cardano no BigQuery - navegador de esquema de dados.
O wiki também contém mais informações sobre os esquemas de tabela.
Desenvolvimento futuro
O lançamento atual inclui quase todos os dados da blockchain da versão db_sync 13. Nas suas futuras iterações, este conjunto de dados no BigQuery cobrirá ainda mais dados do Cardano, e nós estaremos atualizando esta seção com mais detalhes.
Para levantar uma questão ou compartilhar seu feedback, por favor, entre em contato com [email protected].