Dune AI测评:链上分析师会下岗吗?

This article is not available in the current language yet. Showing the original version.
本文将通过从简单到复杂的多个问题,对 Dune AI 进行测试,验证其可用性和可靠性。

原创 | Odaily星球日报

作者 | 南枳

11 月初,Web3数据分析基础设施 Dune 宣布推出 DuneAI,用户可以使用其自然语言引擎以任何语言提出问题,无需了解 SQL 即可获得加密数据见解。Odaily 将通过从简单到复杂的多个问题,对 Dune AI 进行测试,验证其可用性和可靠性。

案例 1 ——特定协议交易量查询

问题: Blur  过去七天的日交易量(Find the Blur volume in the for last 7 days, by day)?

将 Dune AI 给出的答案与 Dune 上点赞最多的 Blur query(右下图),数据对比如下,二者有接近 1% 的差值。

Dune AI测评:链上分析师会下岗吗?

案例 2 ——特定网络交易量查询

问题: Arbitrum  网络今天执行了多少笔交易(How many transactions were processed today in arbitrum)?

左图为 Dune AI 给出的答案,右边为 Odaily 所编辑 query,二者结果基本一致(差异来自 query 执行时间不同)。

Dune AI测评:链上分析师会下岗吗?

案例 3 ——带有歧义的查询

问题: Uniswap  上周日交易总量(Total volume on Uniswap last week by day)?

在这里,出现了三个问题:

  • Dune AI 将查询范围限制在了以太坊上,而 Uniswap 部署于多个链上,并且原提问并没有这个要求。

  • DefiLlama 上的 Uniswap数据对比,差值较大, 24 日至 26 日为例,分别相差 6% 、 9% 和 11% 。

Dune AI测评:链上分析师会下岗吗?

  • 此处原本想要查询的是上一个星期周一至周日的数据,而此处的last week被解释为过去七日,为进一步验证,将查询语句修改为“上一个完整周的Uniswap日交易量(The total volume on Uniswap for the previous full week by day)”,结果如下图所示,仍然查询的是过去七日的数据。

Dune AI测评:链上分析师会下岗吗?

案例 4 ——多条件复杂查询

问题:过去一周使用  Stargate  在以太坊和 Arbitrum 之间跨链的每日金额(The daily amount bridged between Ethereum and Arbitrum using Stargate over the past week)?

Dune AI测评:链上分析师会下岗吗?

查询结果为空,Odaily 对 query 进行查验后,整体查询内容和语法都没有问题,查询出错的原因在于选择了错误的数据集“stargate_arbitrum.ProxyOFT_evt_SendToChain”,这是一个只有 12 条数据的数据集。

案例 5 ——模糊查询

问题:Uniswap 的收入、 Unibot  的收入?

Dune AI 要求进一步明确问题,而不会自主给出总交易量/日交易量等不同的 query。

Dune AI测评:链上分析师会下岗吗?

而进一步明确问题“Uniswap的日收入(daily revenue of Uniswap)”,Dune AI开始查询,但最终给出了错误答案,将日交易量作为Uniswap的收入进行了计算。

Dune AI测评:链上分析师会下岗吗?

案例 6 ——新概念查询

问题:pols 的铭刻详情(the inscription process of pols)?

Dune AI 并不能理解铭刻(inscription)的概念,尽管站内已有人写过 pols 的相关 query。

Dune AI测评:链上分析师会下岗吗?

小结

Dune AI 的 SQL 基本功扎实,只要存在相应的数据能够正确写出对应的 query,但是还存在着自然语义处理能力不足、准确性不足、不存在抽象理解能力等问题。目前来看除了比较简单的问题外,Dune AI 仅能作为 query 的撰写助手,答案是否可靠还需要人工对 SQL 内容进行验证。

Share to:

Author: Odaily星球日报

Opinions belong to the column author and do not represent PANews.

This content is not investment advice.

Image source: Odaily星球日报. If there is any infringement, please contact the author for removal.

Follow PANews official accounts, navigate bull and bear markets together
PANews APP
US stocks closed mixed, with crypto stocks generally declining.
PANews Newsflash