Dados da blockchain Cardano no BigQuery

Por volta de 3 min

Dados on-chain do Cardano no BigQuery

Um site dedicado com documentação do BigQuery e exemplos de consultas pode ser encontrado aquiopen in new window.

Sobre o BigQuery

De acordo com sua descrição oficialopen in new window, o BigQuery é um armazém de dados empresarial totalmente gerenciado que ajuda a gerenciar e analisar dados com recursos integrados como aprendizado de máquina, análise geoespacial, e inteligência de negócios. A arquitetura sem servidor do BigQuery permite usar consultas SQL para obter os dados que você está procurando com zero gerenciamento de infraestrutura.

Motivação

Os dados on-chain do Cardano cresceram consideravelmente nos últimos meses. Isso significa que o tempo para sincronizar todo o histórico da blockchain aumenta correspondentemente. Executar um nó e um processo de DB Sync (mapeando os dados on-chain para um banco de dados relacional) agora requer mais tempo e uma instância de software mais robusta.

O Google BigQuery facilita a busca de dados sem a necessidade de executar software especializado. Usando o Google Data Studio, você também pode criar facilmente visualizações avançadas e dashboards baseados nos dados do BigQuery.

Os dados do Cardano no BigQuery são organizados por números de época. Isso permite limitar consultas a uma ou várias épocas de dados, resultando em um custo menor por consulta.

Há várias coisas que você deve observar ao trabalhar com o BigQuery:

Os dados são buscados (atualizados) do DB Sync a cada duas horas.
Os dados são atualizados apenas até aproximadamente os últimos 20 blocos antes da altura atual do bloco no DB Sync. Isso é essencial para evitar reversões de blocos no caso de bifurcações da cadeia.

Começando com o BigQuery

Para começar, vá para o conjunto de dados do Cardano mainnetopen in new window.

Observe que para começar a consultar dados, você precisa ter um projeto Google. Caso você não tenha um projeto Google:

Faça login no Console do Desenvolvedor Googleopen in new window
Crie um novo projeto e ative a API do BigQuery.

NB. Se você não consultar o conjunto de dados do seu próprio projeto, você receberá o erro: "Access Denied: Project iog-data-analytics: User does not have bigquery.jobs.create permission in project iog-data-analytics."

Consultando os dados

Você está pronto para trabalhar com o conjunto de dados:

Abra o conjunto de dadosopen in new window
Selecione a tabela da qual gostaria de recuperar dados
Clique na opção ‘consultar’:

Você pode encontrar os exemplos de consultas na seção esquemas de tabela de consulta abaixo.

Analisando os dados

O BigQuery oferece integração perfeita com Google Data Studioopen in new window.

Para importar os dados para o Data Studio:

Crie um novo relatório
Selecione a opção BigQuery:

Você pode agora criar vários gráficos usando o conjunto de dados do Cardano mainnet:

Veja mais exemplos neste relatório do Data Studioopen in new window.

Custos

O custo para consultar dados do BigQuery é pago pelo indivíduo que os consulta. O BigQuery cobra um valor análogo à quantidade de dados sendo consultados.

Geralmente, o custo é de $7,5 por terabyte (TB) dos dados consultados. Encontre mais informações visitando a página de preços do BigQueryopen in new window.

Nota que as tabelas de dados do Cardano são divididas por números de época para que as consultas possam ser feitas de acordo com a época de escolha, incorrendo em menos custos.

Atualização e validação dos dados

Os dados no projeto ‘cardano-mainnet’ do BigQuery são atualmente atualizados a cada duas horas incluindo os blocos ‘db-sync’ mais recentes. A visão geralopen in new window das alturas de blocos no BigQuery vs. PostgreSQL também é atualizada a cada duas horas. Espera-se que os dados no BigQuery não estejam na mesma altura de bloco que no PostgreSQL do ‘db-sync’, no entanto, os dados não devem se desviar muito.