区块链数据解析 资料收集
区块链数据解析 资料收集
关于区块链数据解析的一些资料搜集，比较零散
Chain Data
- 什么是以太坊？
- 重点：状态机，snapshot 是如何产生数据
- Snapshot Binance Academy
- 快照保存了数据，如何利用起快照的数据
- QuickNode - Blockchain API and Node Infrastructure
- 第三方数据节点搭建
- Ankr - A World Powered by US
- Blockchain nodes provider — crypto node as a service
- FAQ - Big Query blockchain public dataset.docx - Google 文档
- Live Ethereum and Bitcoin Data in Google BigQuery and Pub/Sub
- 开源，已经解析的数据, 分析解析思路
- Calculating Gini Coefficient in BigQuery with SQL
- 分析 Demo
- Introducing six new cryptocurrencies in BigQuery Public Datasets—and how to analyze them
- 通过公开的 data set 获取到链上数据
- 通过 bigquery 进行使用
- 通过公开的 data set 获取到链上数据
- Bitcoin Mining Pool Classifier
- 通过 notebook. 分析链上数据
- Ethereum in BigQuery: how we built this dataset
- 构造链上数据分析
- Real-time Ethereum Notifications for Everyone for Free
- 实时数据方法
- https://docs.google.com/document/d/16iUix2YsniNAmz5rlWzYwzRIxc-QT6Qz/edit?usp=sharing&ouid=100797969764211863045&rtpof=true&sd=true
- BQ 上开源数据的一些 FAQ
- Mnemonic Launches NFT Data API and Collection Analytics – The New Stack
- 解析的一些架构分析
- Web3 Architecture and How It Compares to Traditional Web Apps
- web3架构演变
- Transaction lifecycle on the Ethereum blockchain
- 数据产生的流程，挖矿流程
- Flow: Inside Flow: The Multi-Node Architecture that Scales to Millions
- 不可能三角，以及以太坊 2.0 升级需要的过程
- Index - Ethereum Smart Contract Best Practices (consensys.github.io)
- 关于智能合约开发相关的资料
- 大纲
- 解析思路
- 数据获取
- 数据内容
- 外部开源数据
解析流程
数据存放
- Blockchain Database: A Comprehensive Guide
- mongodb 关于 区块链数据分析，存放的文章
- Blockchain Facts: What Is It, How It Works, and How It Can Be Used (investopedia.com)
- 区块链介绍文章
- Blockchain - Wikipedia
- wiki 关于区块链的介绍
- How to Create a Blockchain Database?
- 区块链是一个分布式的数据库
- What Will Blockchain Mean for Data Storage?
- 区块链数据库与传统数据库的对比
- Bitcoin vs. Ethereum: What’s the Difference?
- (623) Smart Contract Programmer
- 智能合约的介绍，可以看看关于数据分析的部分
- Ethereum Whitepaper
- 白皮书上写的部分关于区块链数据的图，可以进行引用
数据获取
数据内容
- Block explorers
- 以太坊数据字段分析
- Ethereum (ETH) Blockchain Explorer (etherscan.io)
- scan 系列，包含所有的 evm 兼容链数据查看
- Ethereum Charts and Statistics
- chart 数据分析
- What is on-chain data? - CryptoQuant User Guide
- on chain data
解析关键技术节点
- Blockchain ETL (github.com)
- 开源项目，提供提供解析以太坊思路
- 数据流
- 按日增加
- 开源项目，提供提供解析以太坊思路
- blockchain-etl/blockchain-etl-streaming: Streaming Ethereum and Bitcoin blockchain data to Google Pub/Sub or Postgres in Kubernetes (github.com)
- 流式数据保存
- LongHash - 用数据读懂区块链
- 看一看分析的指标，什么部分可以利用上
- Blockchain Node Providers and How They Work (infoq.com)
- 链节点分析，以及如何应用
生态分析
- Node for Node: Which Chains Are The Most Decentralized? - CryptosRus
- 节点数量分析 ，去中心化程度分析，不可能三角 ，如果进行数据分析，chain node 启动是否困难
- Why Node Count Is The Best Proxy For Blockchain Security - TechBullion
- 节点可以代表整个区块链网络的参与情况，节点难易情况，以及同步的稳定性等等
- What Is Delegated Proof of Stake (DPoS)?
- DPos ，等待了解
- Comparing Altcoins: How Do Solana and Others Stack Up To Ethereum? - The Street Crypto: Bitcoin and cryptocurrency news, advice, analysis and more
- 公链生态对比
- The Proof-of-Stake Guidebook. Get yourself familiar with all the
- POS 技术分析
- 以太坊真全节点不足100个，欺诈证明如何弥补网络的安全性？ - 元宇宙之家 (lieyuncj.com)
- 全节点影响安全性，以及去中心化程度
- Blockchain + Streaming Analytics = Smart Distributed Applications – Blockchainers
- Blockchain Streaming Analytics with Ethereum and TIBCO StreamBase
- 场景分析
- 一文深度解读以太坊节点运作机制和客户端多样性_MyToken好的链 (mytokencap.com)
- 以太坊节点介绍
解析思路
EVM 兼容链解析思路
| 类型 | EVM兼容 | |||||
|---|---|---|---|---|---|---|
| 步骤 | 准备全节点 | 提取节点数据 | 同步到数据库 | 准备公链基础数据 | 根据业务, 智能解析平台事件，提供给业务解析使用 | 针对平台进行事件解析 |
| check point | 根据链的情况配置同步机器 | extract & verify blocks data | 解析的数据保存成JSON格式 | token info | extract primary business data from event/log | 解析DEX类平台 |
| 跟上最新同步，落后不超过1h | extract & verify transactions data | BigQuery加载JSONL类型的解析数据; | token price | extract primary business data from transactions | 解析Lending类平台 | |
| deploy data node monitor | extract & verify logs data | 解析数据校验并发布到线上; | FP架构新增新链 | extract primary business data from token transfers | 解析Framing类平台 | |
| extract & verify token transfers data | ||||||
| 时间 | 5天 | 2-5天 | 2天 | 4天 | 1天/平台 | 2天/平台 |
非EVM 兼容链解析思路
| 类型 | 非EVM兼容 | ||||||
|---|---|---|---|---|---|---|---|
| 步骤 | 准备全节点 | 定义提取数据字段 (类似etherscan) | 提取节点数据 | 同步到数据库 | 准备公链基础数据 | 根据业务, 智能解析平台事件，提供给业务解析使用 | 针对平台进行事件解析 |
| check point | 根据链的情况配置同步机器 | analyze the data structure | extract & verify blocks data | 解析的数据保存成JSON格式 | token info | extract primary business data from event/log | 解析DEX类平台 |
| 跟上最新同步，落后不超过1h | define blocks table | extract & verify transactions data | BigQuery加载JSONL类型的解析数据; | token price | extract primary business data from transactions | 解析Lending类平台 | |
| deploy data node monitor | define transactions table | extract & verify logs data | 解析数据校验并发布到线上; | FP架构新增新链 | extract primary business data from token transfers | 解析Framing类平台 | |
| define logs table | extract & verify token transfers data | ||||||
| define token transfers table | |||||||
| 时间 | 5天 | 10天 | 30天 | 7天 | 6天 | 2天/平台 | 3天/平台 |
Events
- The Graph
- 分析 events , 给 DEV 使用场景较多
智能合约
Best Practices for Smart Contract Development
- smart contract best practices
DeFi
- Decentralized Finance (DeFi) Analytics & Insights (intotheblock.com)
- 包含 DeFi 指标分析，DEX，Lending 部分
- DEX:交易对数据常见的统计指标 : liquidity, volume, tvl, fees, ROL
- Lending: 供应量，借出，存/借利率等数据
- TVL 标准
NFT
- NFT Analytics & Insights (intotheblock.com)
- Global NFT Market Overview
- 常见的统计场景
- 从单个 NFT 开始，铺开到对于整个市场的 overview
- 单个 NFT
- 地板价
- mint
- sale
- latest 情况
- activity
- NFT Collection
- volume
- Nansen adds support for Avalanche NFTs
- Nansen 提供的 NFT 分析思路
Wallet
- What Is A Blockchain Wallet & How Does It Work? (softwaretestinghelp.com)
- 区块链钱包，如何工作 , 数据分析的背景
This post is licensed under CC BY 4.0 by the author.