1.什么是显著性检验
2.显著性检验的含义
显著性检验即用于实验处理组与对照组或两种不同处理的效应之间是否有差异，以及这种差异是否显著的方法。
常把一个要检验的假设记作H0,称为原假设（或零假设） (null hypothesis) ，与H0对立的假设记作H1，称为备择假设(alternative hypothesis) 。
⑴ 在原假设为真时，决定放弃原假设，称为第一类错误，其出现的概率通常记作α；
⑵ 在原假设不真时，决定接受原假设，称为第二类错误，其出现的概率通常记作β。
通常只限定犯第一类错误的最大概率α， 不考虑犯第二类错误的概率β。这样的假设 检验又称为显著性检验，概率α称为显著性水平。
最常用的α值为0.01、0.05、0.10等。一般情况下，根据研究的问题，如果放弃真错误损失大，为减少这类错误，α取值小些 ，反之，α取值大些。
3.显著性检验的原理
- 无效假设
显著性检验的基本原理是提出“无效假设”和检验“无效假设”成立的机率（P）水平的选择。所谓“无效假设”，就是当比较实验处理组与对照组的结果时，假设两组结果间差异不显著，即实验处理对结果没有影响或无效。经统计学分析后，如发现两组间差异系抽样引起的，则“无效假设”成立，可认为这种差异为不显著（即实验处理无效）。若两组间差异不是由抽样引起的，则“无效假设”不成立，可认为这种差异是显著的（即实验处理有效）。
- “无效假设”成立的机率水平
检验“无效假设”成立的机率水平一般定为5%（常写为p≤0.05），其含义是将同一实验重复100次，两者结果间的差异有5次以上是由抽样误差造成的，则“无效假设”成立，可认为两组间的差异为不显著，常记为p>0.05。若两者结果间的差异5次以下是由抽样误差造成的，则“无效假设”不成立，可认为两组间的差异为显著，常记为p≤0.05。如果p≤0.01，则认为两组间的差异为非常显著。
4.显著性检验的相关概念
5.显著性检验的作用
6.显著性检验的基本思想
显著性检验的基本思想可以用小概率原理来解释。
1、小概率原理：小概率事件在一次试验中是几乎不可能发生的，假若在一次试验中事件 事实上发生了。那只能认为事件 不是来自我们假设的总体，也就是认为我们对总体所做的假设不正确。
2、观察到的显著水平：由样本资料计算出来的检验统计量观察值所截取的尾部面积为。这个概率越小，反对原假设，认为观察到的差异表明真实的差异存在的证据便越强，观察到的差异便越加理由充分地表明真实差异存在。
3、检验所用的显著水平：针对具体问题的具体特点，事先规定这个检验标准。
4、在检验的操作中，把观察到的显著性水平与作为检验标准的显著水平标准比较，小于这个标准时，得到了拒绝原假设的证据，认为样本数据表明了真实差异存在。大于这个标准时，拒绝原假设的证据不足，认为样本数据不足以表明真实差异存在。
5、检验的操作可以用稍许简便一点的作法：根据所提出的显著水平查表得到相应的 值，称作临界值，直接用检验统计量的观察值与临界值作比较，观察值落在临界值所划定的尾部内，便拒绝原假设；观察值落在临界值所划定的尾部之外，则认为拒绝原假设的证据不足。
7.显著性检验的P值[1]
若用计算机统计软件进行假设检验, 我们会见到P—值。将算得检验统计量样本值查表得的概率是就是P值（在那里我们称之为观察到的显著水平）。
P值是怎么来的
从某总体中抽样所得的样本，其参数会与总体参数有所不同，这可能是由于两种原因：
⑴、这一样本是由该总体抽出，其差别是由抽样误差所致；
⑵、这一样本不是从该总体抽出，所以有所不同。
如何判断是那种原因呢？统计学中用显著性检验赖判断。其步骤是：
⑴、建立检验假设（又称无效假设，符号为H0）：如要比较A药和B药的疗效是否相等，则假设两组样本来自同一总体，即A药的总体疗效和B药相等，差别仅由抽样误差引起的碰巧出现的。
⑵、选择适当的统计方法计算H0成立的可能性即概率有多大，概率用P值表示。
⑶、根据选定的显著性水平（0.05或0.01），决定接受还是拒绝H0。
如果P＞0.05，不能否定“差别由抽样误差引起”，则接受H0；如果P＜0.05或P ＜0.01，可以认为差别不由抽样误差引起，可以拒绝H0，则可以接受另一种可能性的假设（又称备选假设，符号为H1），即两样本来自不同的总体，所以两药疗效有差别。
统计学上规定的P值意义见下表
P值 碰巧的概率 对无效假设 统计意义 P＞0.05 碰巧出现的可能性大于5% 不能否定无效假设 两组差别无显著意义 P＜0.05 碰巧出现的可能性小于5% 可以否定无效假设 两组差别有显著意义 P ＜0.01 碰巧出现的可能性小于1% 可以否定无效假设 两者差别有非常显著意义
- 理解P值，下述几点必须注意：
⑴P的意义不表示两组差别的大小，P反映两组差别有无统计学意义，并不表示差别大小。因此，与对照组相比，C药取得P＜0.05，D药取得P ＜0.01并不表示D的药效比C强。
⑵ P＞0.05时，差异无显著意义，根据统计学原理可知，不能否认无效假设，但并不认为无效假设肯定成立。在药效统计分析中，更不表示两药等效。哪种将“两组差别无显著意义”与“两组基本等效”相同的做法是缺乏统计学依据的。
⑶统计学主要用上述三种P值表示，也可以计算出确切的P值，有人用P ＜0.001，无此必要。
⑷显著性检验只是统计结论。判断差别还要根据专业知识。
8.显著性检验的结果
关于显著性检验的结果：
(一)显著性检验回答什么问题
我们所观察到的差异（是纯属于机会变异，还是反映了真实的差异？
1、如果显著性检验得到差异显著的结论这时并不能评价差异的大小和重要性。
2、显著性检验只能告诉我们差异是否在事实上存在，而不能回答差异产生的原因。
3、显著性检验不能检查我们对实验所作的设计是否有缺陷
(二)显著性检验回答问题的方式
在表述显著性检验结论的时候，应与检验的逻辑推理相符。
当检验统计量的观察值落在拒绝域时，我们应该说，样本资料显著地（或高度显著地）表明，差异是存在的。
(三)对观察到的显著水平数值的评价
9.显著性检验中的总体和样本
10.显著性检验的步骤
显著性检验的一般步骤或格式，如下：
1、提出假设
H0：______
H1：______
同时，与备择假设相应，指出所作检验为双尾检验还是左单尾或右单尾检验。
2、构造检验统计量，收集样本数据，计算检验统计量的样本观察值。
3、根据所提出的显著水平 ，确定临界值和拒绝域。
4、作出检验决策。
把检验统计量的样本观察值和临界值比较，或者把观察到的显著水平与显著水平标准比较；最后按检验规则作出检验决策。当样本值落入拒绝域时，表述成:“拒绝原假设”，“显著表明真实的差异存在”；当样本值落入接受域时，表述成：“没有充足的理由拒绝原假设”，“没有充足的理由表明真实的差异存在”。另外，在表述结论之后应当注明所用的显著水平。
11.显著性检验应注意的问题
进行显著性检验还应注意以下几个问题：
1、要有合理的试验设计和准确的试验操作，避免系统误差、降低试验误差，提高试验的准确性和精确性。
2、选用的显著性检验方法要符合其应用条件。由于研究变量的类型、问题的性质、条件、试验设计方法、样本大小等的不同，所选用的显著性检验方法也不同，因而在选用检验方法时，应认真考虑其应用条件和适用范围。
3、选用合理的统计假设。进行显著性检验时，无效假设和备择假设的选用，决定了采用两尾检验或是一尾检验。 4、正确理解显著性检验结论的统计意义。显著性检验结论中的“差异显著”或“差异极显著”不应该误解为相差很大或非常大，也不能认为在实际应用上一定就有重要或很重要的价值。“显著”或“极显著”是指表面差异为试验误差可能性小于0.05或0.01，已达到了可以认为存在真实差异的显著水平。有些试验结果虽然表面差异大，但由于试验误差大，也许还不能得出“差异显著”的结论，而有些试验的结果虽然表面差异小，但由于试验误差小，反而可能推断为“差异显著”。
显著水平的高低只表示下结论的可靠程度的高低，即在0.01水平下否定无效假设的可靠程度为99％，而在0.05水平下否定无效假设的可靠程度为95%。
“差异不显著”是指表面差异为试验误差可能性大于统计上公认的概率水平0.05，不能理解为没有差异。下“差异不显著”的结论时，客观上存在两种可能：一是无本质差异，二是有本质差异，但被试验误差所掩盖，表现不出差异的显著性来。如果减小试验误差或增大样本容量，则可能表现出差异显著性。显著性检验只是用来确定无效假设能否被否定，而不能证明无效假设是正确的。
5、统计分析结论的应用，还要与经济效益等结合起来综合考虑。
12.显著性检验的应用[2]
在市场调研中，由于人力、物力、时间等问题，一般都用抽样调查的方法抽取一定数量的具有代表性的群体，得出样本数据来进行市场研究，并对市场总体特征进行统计推断，在这里面就会存在两个问题，一是样本的特征数量能否反映总体特征？二是，两种不同的样本的数量标志参数是否存在差异？只有解决这两个问题，才能正确的推断市场总体特征，也才能找出市场中不同特征群体的需求差异，这就需要统计学中的显著性检验来解决，由于显著性检验的功能在数据分析中的重大作用，显著性检验在市场调研中得到了广泛的应用；但若不恰当的使用便会导致市场调研信息反应的歪曲或挖掘不充分；以下是我根据以往应用显著性检验的经验而总结的一些关于如何恰当的应用统计检验的体会，仅供参考、讨论。
要恰当的运用检验方法，我们需要做到以下几点：
首先，了解各检验方法的适用范围及其特点。
这也是正确使用检验方法的基本前提，只有了解各检验方法的基本思想及特点，才能正确选取适当的检验方法。
许多统计检验方法的应用对总体有特殊的要求，如t检验要求总体符合正态分布，F检验要求误差呈正态分布且各组方差整齐，等等。这些常用来估计或检验总体参数的方法，统称为参数统计。许多调查或实验所得的科研数据，其总体分布未知或无法确定，这时做统计分析常常不是针对总体参数，而是针对总体的某些一般性假设（如总体分布），这类方法称非参数统计，相应的，统计检验总体分为参数检验和非参数检验。在选择参数与非参数检验时，首要考虑是数据的分布情况，能确定分布类型的，则可适当选用参数检验，参数检验主要包括包含的方法有：单样本T检验、两独立样本T检验、两配对样本T检验；非参数由于不限制分布，统计方法简便，适用性强，但检验效率较低，应用时应适当加以考虑，非参数检验主要涉及五个方面，即单样本、两独立样本、两配对样本、多独立样本、多配对样本的非参数检验。
不同的检验方法，比较的统计量是不同的。T检验等检验方法都是比较的均值；卡方检验、K-S检验等比较频数；曼－惠特尼U检验等是对秩进行比较；符号检验法比较的是前后变化差值的符号、而符号秩检验法则是对差值及符号一同比较的检验。
其次，认清研究目的。
研究目的是市场调研中一切实务的根本出发点，做数据分析时同样首要考虑的是研究目的，研究目的也是数据分析的方向，但此时研究目的需要细化，具体到要通过哪些数据、得到什么信息、何种结果的问题，如希望通过对消费者购买哪些品牌的数据来得出市场占有率的信息。
再次，分析数据特点。
明确某些数据的研究目的后，需要认清数据自身特点。第一，弄清楚要分析的数据属于什么类型，是连续型，还是非连续型？对于连续型数值，均值具有实际意义，对于非连续性的数值，均值并不具备实际意义，而是频数，百分比才有意义，所以，数据属于连续型时，适用比较均值的显著性检验，若是非连续型的级数类，则适用比较频数、比例的检验方法；其实，数据也是可以跟据不同情况，灵活处理的，如对于满意度的衡量，我们可以根据不同的需求看为连续型分值，也可以看为几个等级的级数；第二，我们还需要了解样本数据的分布特点，弄清楚样本数据是否服从某一分布，对于分布明确的，可以采用参数检验，而不清楚分布情况的则可以采用非参数检验法；第三，判断要检验差异的两组样本的关系，属于独立样本，还是属于配对样本。独立样本即指在一个总体中随机抽样对在另一个总体中随机抽样没有影响的情况下所获得的样本，样本之间相互独立；而配对样本可以是同一个体在前后两种状态下某种属性的两种状态，也可以是对某事物两个不同侧面或方面的描述，两样本不是相互独立，而是有相关性的。
最后，灵活运用检验方法。
检验方法虽然有各自特点和适用范围，但是可以对数据做稍微的处理、变化，或是换个角度分析，便可运用不同的检验方法；且各方法有适用范围，当然也有它的局限性，有时需要多种检验方法配合使用，相互补充，才能充分的挖掘信息，比如,独立样本T检验法判断AB产品对于抗过敏的功效评价在均值上是否有差异，而卡方检验可判断他们在各评价水平上的分布有无差异，假如判断出他们功效水平无差异之后，我们还想知道他们到底是同样的好还是同样的差，这时可以再使用单样本 T 检验对以与均值评价水平相近的满意度水平进行差异性检验来进行定位。 此外，我们还需要合理解释检验结果。
不仅要正确识别检验结果，还需要结合原始数据及实际意义，并针对研究目的来分析说明。
13.显著性检验的实例分析
14.相关系数显著性检验表
| rαα k | 0.100.050.020.010.001 | αrα k | ||||
|---|---|---|---|---|---|---|
| 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 25 30 35 40 45 50 60 70 80 90 100 | 0.9877 0.9000 0.8054 0.7293 0.6694 0.6215 0.5822 0.5494 0.5214 0.4973 0.4762 0.4575 0.4409 0.4259 0.4124 0.4000 0.3887 0.3783 0.3687 0.3598 0.3233 0.2960 0.2746 0.2573 0.2428 0.2306 0.2108 0.1954 0.1829 0.1726 0.1638 | 0.9969 0.9500 0.8783 0.8114 0.7545 0.7067 0.6664 0.6319 0.6021 0.5760 0.5529 0.5324 0.5139 0.4973 0.4821 0.4683 0.4555 0.4438 0.4329 0.4227 0.3809 0.3494 0.3246 0.3044 0.2875 0.2732 0.2500 0.2319 0.2172 0.2050 0.1946 | 0.9995 0.9800 0.9343 0.8822 0.8329 0.7887 0.7498 0.7155 0.6851 0.6581 0.6339 0.6120 0.5923 0.5742 0.5577 0.5425 0.5285 0.5155 0.5034 0.4921 0.4451 0.4093 0.3810 0.3578 0.3384 0.3218 0.2948 0.2737 0.2565 0.2422 0.2301 | 0.9999 0.9900 0.9587 0.9172 0.8745 0.8343 0.7977 0.7646 0.7348 0.7079 0.6835 0.6614 0.6411 0.6226 0.6055 0.5897 0.5751 0.5614 0.5487 0.5368 0.4869 0.4487 0.4182 0.3932 0.3721 0.3541 0.3248 0.3017 0.2830 0.2673 0.2540 | 0.9999 0.9990 0.9912 0.9741 0.9507 0.9249 0.8982 0.8721 0.8471 0.8233 0.8010 0.7800 0.7603 0.7420 0.7246 0.7084 0.6932 0.6787 0.6652 0.6524 0.5974 0.5541 0.5189 0.4896 0.4648 0.4433 0.4078 0.3799 0.3568 0.3375 0.3211 | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 25 30 35 40 45 50 60 70 80 90 100 |