1.baseline
这个最常见,一般指你要比较的方法,如前人在paper中的方法,你以它为baseline并且明显在某些方面超越它,就所谓的state of the art.
2.benchmark
这个在不同方面代表不同的意思,一般指具体实验的载体
- 在CV中主要指DataSet,某一类数据集用来实验某一项研究。如当前比较火的Mate-learning中的Omniglot,就是一个多种类,单个种类样本却很少的数据集,专门用来玩few shot learning或者 one shot learning.
- 或者专门用来做视频的UTF101,moving-mnist,就是视频类文章的benchmark
- 待完善,
3.backnone
这个词最近比较流行,主要是指某一种基干网络,比如比较主流网络残差resnet,对抗生成gan,然后在基干网络上加东西或者改东西。
4.baseline与benchmark
- 解释1
一般用benchmark data 做实验,测试A B C D四个模型,然后以结果最差的一个模型,假设是C,作为baseline,看看其他模型相对C提高了多少
- 解释2
benchmark是一组操作或者数据(比较有普遍性,有说服力),比如一万次数据库的增删改查。比如15年的一个经典算法用这一万次增删改查测试,得到的时间是baseline,那么15年之后的paper提出的新算法,就应该得到更快的时间。
- 解释3
baseline是当前的现状,benchmark是期望达到的目标。
比如说某个地方当前的教育普及率是50%,这个就是baseline。目标是将教育普及率提高的70%,这个70%就是benchmark。
- 解释4
baseline主要关注自己提出的方法,比如最原始最简单的方法出来的结果(参照物)。然后再这个基础上改进,增加各种组件,可以看出提升了多少,通过baseline我们可以知道这个方法能不能work,有多少提升。
benchmark主要对比别人的方法,这个方法不一定是最好的,但一定是最有代表性且被广泛认可的(一种标准和规则)。其所用的数据就是 benchmark data ,其方法就是benchmark method,你提出的方法的在benchmark data上得出的结果与benchmark method的结果对比才能知道你的方法是否足够好。
- 解释5
- 解释6
benchmark一般是和同行中比较牛的算法比较,比牛算法还好,那你可以考虑发好一点的会议/期刊;
baseline一般是自己算法优化和调参过程中自己和自己比较,目标是越来越好,当性能超过benchmark时,可以发表了,当性能甚至超过SOTA时,恭喜你,考虑投顶会顶刊啦。
————————————————
参考链接:https://www.zhihu.com/question/22529709
参考链接:https://blog.csdn.net/disanda/article/details/103788533