18.1、R语言探索缺失值模式—零基础入门教程

RStudio 统计分析从入门到精通（视频+数据+课件）------------------------------ 点击获取

点击上方链接可以查看完整版视频教程

R语言探索缺失值模式

一、列表显示缺失值

你已经学习了一些识别缺失值的基本方法。比如使用complete.cases()函数列出完 整的实例，或者相反，列出含一个或多个缺失值的实例。但随着数据集的增大，该方法就逐渐丧失了吸引力。

此时你可以转向其他R函数。

mice包中的md.pattern()函数可生成一个以矩阵或数据框形式展示缺失值模式的表格。将函数应用到sleep 数据集，可得到：

表中的1和0显示了缺失值模式：0表示变量的列中有缺失值，1则表示没有缺失值。

第一行表述了“无缺失值”的模式(所有元素都为1)。

第二行表述了“除了span 之外无缺失值”的模式。

第一列表示各缺失值模式的实例个数，最后一列表示各模式中有缺失值的变量的个数。

此处可以看到，有42个实例没有缺失值，仅2个实例缺失了Span。9个实例同时缺失了NonD和Dream的值。数据集包含了总共(42×0)+(2×1)+…+(1×3)=38个缺失值。最后一行给出了每个变量中缺失值的数目。

二、图形探究缺失数据

虽然md.pattern()函数的表格输出非常简洁，但我通常觉得用图形展示模式更为清晰。VIM包提供了大量能可视化数据集中缺失值模式的函数，本节我们将学习其中几个：aggr()、 matrixplot()和scattMiss()。

aggr()函数不仅绘制每个变量的缺失值数，还绘制每个变量组合的缺失值数。

例如：

library("VIM")

aggr(sleep, prop=FALSE, numbers=TRUE)

上述代码的结果见下图。

可以看到，变量NonD有最大的缺失值数(14),有2种哺乳动物缺失了NonD、Dream和Sleep的评分。42种动物没有缺失值。

代码aggr(sleep,prop=TRUE,numbers=TRUE)将生成相同的图形，但用比例代替了计数。选项numbers=FALSE(默认)删去数值型标签。

matrixplot()函数可生成展示每个实例数据的图形。 matrixplot(sleep)的图形如下图所示。此处，数值型数据被重新转换到[0,1]区间，并用灰度来表示大小：浅色表示值小，深色表示值大。默认缺失值为红色。注意，在下图中，红色经过手工阴影化处理，因此相对于灰 色缺失值非常显眼。你可以自己创建图形，让它与众不同。

该图形可以交互，单击一列会按其对应的变量重排矩阵。上图中的行按Bodywgt降序排列。 通过矩阵图，你可以看出某些变量的缺失值模式是否与其他变量的真实值有关联。此图中可以看到，无缺失值的睡眠变量 (Dream、NonD和Sleep)对应着较小的体重 (Bodywgt)或脑重(Brainwgt)。

marginplot()函数可生成一幅散点图，在图形边界展示两个变量的缺失值信息。以做梦时长与哺乳动物妊娠期时长的关系为例，来看下列代码：

marginplot   (sleep[c("Gest","Dream")],pch=c(20),

col=c("darkgray","red","blue"))

它的生成图形见下图。参数pch和col为可选项，控制绘图符号和使用的颜色。

图形的主体是Gest和Dream(两变量数据都完整)的散点图。左边界的箱线图展示的是包含(深灰色)与不包含(红色)Gest值的Dream变量分布。注意，在灰度图上红色是更深的阴影。 四个红色的点代表缺失了Gest得分的Dream值。在底部边界上， Gest和Dream间的关系反过来了。可以看到，妊娠期和做梦时长呈负相关，缺失妊娠期数据时动物的做梦时长一般更长。两个变量均有缺失值的观测个数在两边界交叉处用蓝色输出(左下角的0)。

VIM包有许多图形可以帮助你理解缺失数据在数据集中的模式，包括用散点图、箱线图、直 方图、散点图矩阵、平行坐标图、轴须图和气泡图来展示缺失值的信息，因此这个包很值得探索。

三、用相关性探索缺失值

在继续下文之前，还有些方法值得注意。你可用指示变量替代数据集中的数据(1表示缺失， 0表示存在),这样生成的矩阵有时被称作影子矩阵。求这些指示变量之间和它们与初始(可观测)变量之间的相关性，有助于观察哪些变量常一起缺失，以及分析变量“缺失”与其他变量间的关系。

请看如下代码：

以下代码：

y<- x[which(apply(x,2,sum)>0)]

可提取含(但不全部是)缺失值的变量，而cor(y)可列出这些指示变量间的相关系数：

此时，你可以看到Dream和NonD常常一起缺失(r=0.91)。 相对可能性较小的是Sleep和NonD一 起缺失(r=0.49), 以及Sleep和Dream(r=0.20)。

最后，你可以看到含缺失值变量与其他可观测变量间的关系：

在这个相关系数矩阵中，行为可观测变量，列为表示缺失的指示变量。你可以忽略矩阵中的警告信息和NA值，这些都是方法中人为因素所导致的。

从相关系数矩阵的第一列可以看到，体重越大 (r=0.227)、 妊娠期越长(r=0.202)、 睡眠暴露度越大(r=0.245)的动物无梦睡眠的评分更可能缺失。其他列的信息也可以按类似方式得出。注意，表中的相关系数并不特别大，表明数据是MCAR的可能性比较小，更可能为MAR。

不过也绝不能排除数据是NMAR的可能性，因为你并不知道缺失数据背后对应的真实数据是怎么样的。比如，你不可能知道哺乳动物做梦时长与该变量数据缺失概率间的关系。当缺乏强力的外部证据时，我们通常假设数据是MCAR或者MAR。

如果上述教程没有解决您的问题，可以联系分析师获取支持：

分析师服务（24小时在线）

如果您需要代做服务，可选择下方服务选项：

‍1、问卷设计、问卷调查：点击联系

2、数据分析、实证分析：点击联系‍

3、科研配图、论文配图：点击联系

4、文章指导、润色美化：点击联系

5、数据查找、代查代下：点击联系

6、数据修改、调整合理：点击联系‍

7、职称评审、课题申报：点击联系

8、格式排版、文章翻译：点击联系‍