前情提要：
简单回顾一下时间线：1902年《生物统计》创刊；1908年戈赛特以“学生”的笔名发表《平均数的可能误差》，t检验问世；1911年高尔顿去世，他的弟子卡尔.皮尔逊成为《生物统计》唯一负责人；黑暗天才费歇尔在《生物统计》上发表第一篇短文是1912年；《相关系数的分布》1915年发表在《生物统计》，费歇尔因此与卡尔.皮尔逊闹掰。这就是前面的故事，感兴趣的可以去前面几讲翻翻。
同样我们还得回顾一下知识点：在统计的世界，个体不是研究对象，总体的随机分布才是（第一讲）。为了描述总体分布的图像，需要平均数μ和标准差σ等参数，而这些参数往往无法得到，样本的平均数M和标准差S等被称作统计量，统计量是用来估计参数的（第二讲）。最常见的分布是正态分布，它的特点是中间高两边低左右对称（第三讲）。统计量的分布与自由度（df）有关，平方和（SS）除以自由度就得到了方差，方差开根号就是标准差（第四讲），如果反复从同一个总体里抽取同样样本量（n）的样本，这些样本的均值的分布就是样本均值分布，样本均值分布的均值等于总体的均值μ，样本均值分布的标准差有个特殊的名字叫标准误σm，标准误等于总体的标准差σ除以根号n（第五讲）。这就是前面的内容，哪里不会记得回去翻（最下面有链接）。
正文：
英国有一家在旧农场里建立起来的农业实验站，这里为了研究新的人工肥料等堆积了近百年的实验数据，记录着降雨量、温度、施肥追肥、土壤测量、当然还有农作物的收成等等。所长约翰.罗素想找个人处理农场堆积的一仓库的大量资料（当时别说计算机了，连个好用的计算器都没有），正好碰到了找工作的费歇尔。1919年，他们签了一年的合同，酬劳是1000英镑（感觉有点像招了个博士后）。从此，黑暗天才费歇尔转职农业大师，然后就像开了挂一样（本来就有挂，这下简直是挂上开花），发表了一系列《作物收成变动研究》。别被名字骗了，我告诉你这几篇农作物研究都写了啥。《作物收成Ⅰ》：时间序列的统计分析；《作物收成Ⅱ》：随机控制实验及方差分析；《作物收成Ⅲ》：现代统计方法基础；《作物收成Ⅳ》：协方差分析。另外，与作物收成系列有所重叠，《研究工作者的统计方法》中介绍了显著性检验和各种统计方法的p值计算，也是今天的主要内容。
在分布图中，部分面积与全部面积的比例就是概率，以正态分布为例，我们做一个标准化，把正态分布中的每一个分数X都减去均值μ，再除以标准差σ，就得到了z分数，正态分布就变成了标准正态分布，标准正态分布就可以通过查表找到位置对应的概率。
样本均值分布也是如此，因此我们可以在横轴上找到一个特定的值，使得这个值的范围以外的概率是某个固定的值α，例如α=0.05。如果我们已知总体的均值和标准差，那么我们就可以求出样本均值分布的均值和标准误，通过z变换和查表就可以找到一个值，使得样本均值落在这个值以外的概率是0.05。进一步的，如果我们从某处搞到一组样本，这组样本的均值M落在了这个范围以外，我们就知道这组样本来自于这个总体的概率低于0.05，换言之，这组样本在α=0.05水平下显著的（significant）不同于这个已知的总体，这就是费歇尔提出的显著性检验。显著这个词原本的含义就是发生的概率很低，现在则有些其他的意味了。
在计算样本均值分布的z分数的时候需要用总体的标准差σ除以根号n得到标准误σm，然而如果总体的标准差不知道，那么就只能用样本的标准差S除以根号n代替了，这叫估计标准误Sm。用Sm代替σm得到的z分数就是t分数。t分数虽然不满足正态分布，但只要样本量n固定，自由度df=n-1也就固定了，而每个df下t分数的分布也是固定的，因此也有对应的表格，也可以查到一个t值，使得样本均值落在这个范围外面的概率是0.05。这就是t检验。其他的检验方法同理。
如果我们能查到α=0.05对应的z值或t值，反过来，我们也可以通过z值或t值查表得到对应的概率p。当你实际收集了一组数据，就可以用这组数据的均值和估计标准误以及总体的均值μ计算出一个t值，然后这个t值查表找到的对应的概率就是p值。如果p值小于设定的α，那么也是显著的，这与上述先查表后看位置的方法只是顺序调换了而已。然而概念上却更难理解了，p值究竟是什么？比如你的数据计算出了一个t值，查表得到的p值是0.02，这意味着什么？这组样本只有0.02的概率来自于原本的总体吗？
实际上，我们只知道p值越小越好，但其他的解读大多都是误用的。费歇尔原本对p值的解释仅仅是，如果在连续的实验中，某个操作导致的p值不够小，例如p＞0.2，这意味着这个操作所带来的变化不那么明显，不适合大型实验去继续研究它，应该被忽略；如果p值特别小，例如p＜0.01，那么这个操作所导致的变化已经明显发生了；如果p值介于两者之间，那么实验还有改进的空间，仅此而已。从现在的视角来看，也许费歇尔原本的观点才是对的。
费歇尔与卡尔.皮尔逊的战争显然是农业大师费歇尔赢了，但是在显著性检验上费歇尔的阐述似乎也不是那么清楚，比如一个关键的问题，结果不显著到底意味着什么？最终费歇尔的显著性检验输给了卡尔.皮尔逊的儿子艾尔.皮尔逊和他的笔友奈曼，以至于现在几乎所有的统计教材都没有用到显著性检验这个词，而是用奈曼和小皮尔逊提出的新名称：“假设检验”。当然，这是下一讲的事情了。