标题: 用PHP 使 Web 数据分析进入更高境界 [打印本页] 作者: superadmin 时间: 2007-9-30 11:32 标题: 用PHP 使 Web 数据分析进入更高境界 设计您的数据分析，做比简单原始计数更多的事
对 Web 数据进行有效和多层次的分析是许多面向 Web 企业能够生存的关键因素，数据分析检验的设计（和决策）通常是系统管理员和内部应用程序设计人员的工作，而他们可能除了能够把原始计数制成表格之外，对统计学没有更多的了解。在本文中，Paul Meagher 向 Web 开发人员传授了将推论统计学应用到 Web 数据流所需的技能和概念。
当作为参数检验基础的某些假设值得怀疑时，非参数检验也很有用；当不满足参数假设时，非参数检验在检测总体差异时有很大的作用。对于 Web 民意测验的示例，我使用了非参数分析过程，因为 Web 民意测验通常使用定类尺度来记录投票者的偏好。
我并不是在建议 Web 民意测验和 Web 访问统计信息应该始终使用定类尺度衡量标准，或者说非参数统计检验是唯一可用于分析这类数据的方法。不难设想有（譬如）这样的民意测验和调查，它们要求用户对每个选项提供数值评分（从 1 到 100），对此，参数性的统计检验就比较合适。
尽管如此，许多 Web 数据流包括编辑类别计数数据，而且通过定义定距尺度（譬如从 17 到 21）并将每个数据点分配给一个定距尺度（如“年轻人”），可以将这些数据（通过使用功能更强大的衡量标准测量）变成定类尺度数据。频率数据的普遍存在（已经是 Web 开发人员经验的一部分），使得专注于非参数统计学成为学习如何将推论技术应用到数据流的良好起点。
为了使本文保持合理的篇幅，我将把对 Web 数据流分析的讨论局限于 Web 民意测验。但是请记住，许多 Web 数据流都可以用定类计数数据表示，而我讨论的推论技术将使您能做比报告简单的计数数据更多的事情。
考虑这个预期的抽样可变性，您可能怀疑通过随机抽样可变性是否比反映所研究总体中的实际差异能更好地说明观察到的品牌偏好。在统计学术语中，这个抽样可变性说明被称为虚假设（null hypothesis）。（虚假设由符号 Ho 表示）在本例中，用公式将它表示成这样的语句：在作出回答的所有类别中，各种回答的期望数目相同。
如果计算啤酒欢迎度民意测验数据的 X 平方分布统计，会得到值 9.80。要检验虚假设，需要知道在假设存在随机抽样可变性的情况下获得这么一个极限值的概率。要得出这一概率，需要理解 X 平方分布的抽样分布是什么样的。
观察 X 平方分布的抽样分布
图 2. X 平方分布图
在每幅图中，横轴表示所得到的 X 平方分布值大小（图中所示范围从 0 到 10）。纵轴显示各 X 平方分布值的概率（或称为出现的相对频率）。
当您研究这些 X 平方分布图时，请注意，当您在实验中改变自由度（即 df）时，概率函数的形状会改变。对于民意测验数据的示例，自由度是这样计算的：记下民意测验中的回答选项（k）的数目，然后用这个值减 1（df = k - 1）。
通常，当您在实验中增加回答选项的数目时，获得较大 X 平方分布值的概率会下降。这是因为当增加回答选项时，就增加了方差值的数目 ― (观察值 - 期望值)2 ― 您可以求它的总数。因此，当您增加回答选项时，获得大的 X 平方分布值的统计概率应该增加，而获得较小 X 平方分布值的概率会减少。这就是为什么 X 平方分布的抽样分布的形状随着 df 值的不同而变化的原因。
此外，要注意到通常人们对 X 平方分布结果的小数点部分不感兴趣，而是对位于所获得的值右边曲线的总计部分感兴趣。该尾数概率告诉您获取一个象您观察到的极限值是可能（如一个大的尾数区域）还是不可能（小的尾数区域）。（实际上，我不使用这些图来计算尾数概率，因为我可以实现数学函数来返回给定 X 平方分布值的尾数概率。我在本文后面讨论的 X 平方分布程序中会采用这种做法。）
$multi = new Multinomial($NExps, $NTrials, $NOptions);
$output = fopen("./data.txt","w") OR die("file won't open");
for ($i=0; $i<$NExps; $i++) {
// For each multinomial experiment, do chi square analysis
$chi = new ChiSquare1D($multi->Outcomes[$i]);
// Load obtained chi square value into sampling distribution array
$distribution[$i] = $chi->ChiSqObt;
// Write obtained chi square value to file
fputs($output, $distribution[$i]."\n");
}
fclose ($output);
// Copyright 2003, Paul Meagher
// Distributed under LGPL
require_once PHP_MATH . "dist/Distribution.php";
class ChiSquare1D {
var $Total;
var $ObsFreq = array(); // Observed frequencies
var $ExpFreq = array(); // Expected frequencies
var $ExpProb = array(); // Expected probabilities
var $NumCells;
var $ChiSqObt;
var $DF;
var $Alpha;
var $ChiSqProb;
var $ChiSqCrit;
这些结果将受到酿酒厂老板极其详细的检查，他们会对分析过程和实验方法的适合性提出疑问；特别地，他们会对样本的代表性提出疑问。如果您打算进行一次 Web 实验，该实验可能具有重要的实际含义，那么，对于用来收集数据的实验方法和用来从数据得出推论的分析技术，您需要给予同等的关注。
因此，本文不仅为您奠定了一个良好的基础，以便于可以加强您对 Web 数据的有效理解，它还提供了一些建议，这些建议是有关如何保护您的统计检验选择的，并且使得从数据获得的结论更具合理性。
应用学到的知识
在本文中，您已经了解了如何将推论统计学应用于普遍存在的用于汇总 Web 数据流的频率数据，侧重于 Web 民意测验数据的分析。但是，所讨论的简单的单向 X 平方分布分析过程也能够有效地应用于其它类型的数据流（访问日志、调查结果、客户概要信息和客户订单），以便将原始数据转换成有用的知识。
在将推论统计学应用于 Web 数据时，我还介绍了希望将数据流视作 Web 实验的结果，以便于在作推论时提高引用实验设计考虑事项的可能性。通常由于您对于数据采集的过程缺乏足够的控制，因此您不能做出推论。但是，如果在将实验的设计原则应用于 Web 数据收集过程时您更加主动（例如，在您的 Web 民意测验过程中随机选择投票者），那么可以改变这种情形。
最后，我演示了如何模拟不同自由度的 X 平方分布的抽样分布，而不只是仅说明其来源。在这样做的过程中，对于测量类别的期望频率小于 5（换而言之，即小 N 实验）― 我还演示了一种变通方法（使用小 $NTrials 值模拟实验的抽样分布）来禁止使用 X 平方分布检验。因此，我不只是使用研究过程中的 df 来计算样本结果的概率，对于数量较小的尝试，可能还需要使用 $NTrials 值作为参数来求得所观察 X 平方分布结果的概率。
考虑您可能会如何分析小 N 实验是值得的，因为您通常可能希望在数据采集完成之前分析您的数据 ― 当每次观察的代价都很昂贵时，当观察需要花费很长时间才能获得时，或者只是因为您很好奇。在尝试这一级别的 Web 数据分析时，最好谨记下面这两个问题：
