酉阳报·网络版

数据集如何确保开发集和测试集的数据分布一致?

更新时间:2018-10-05 18:25:05    来源:AI研习社    手机版

数据集如何确保开发集和测试集的数据分布一致?

AI研习社 2018-10-05 18:25

这里是 AI 研习社,我们的问答版块已经正式推出了!欢迎大家来多多交流~

https://club.leiphone.com/page/question

社长为你推荐来自 AI 研习社问答社区的精华问答。如有你也有问题,欢迎进社区提问。

话不多说,直接上题

问:数据集如何确保开发集和测试集的数据分布一致?

数据集如何确保开发集和测试集的数据分布一致。比如:某个数据集有A、B、C......F6个特征。要确保数据分布一致,怎么做?

来自社友的回答

@duxiaoyang

数据量足够大,交叉验证?

@吴正一BISTU

像图像数据,我们采用的是统计每个类别的数据量,然后从各个类里按比例选取部分图像作为测试集。

如果是有明确特征列表的数据,我觉得可以先对特征做个统计,手工结合代码,对数据分布进行调整。

@沐沐mumu

从语音方面来说:

一般没有专门去抽取,如果最严谨的方法是背景一致,内容一致区分;但是实际操作都是按照大类来进行,从声学和语言上考虑是搭配的。

像是录制的数据就好搞,但是线上的数据不太好搞成这样。

比如录制了一批数据,会记录每批数据的属性,比如性别,年龄,地区等,开发集和测试集按照比例分出来。

比如按照地域开发集是南北方各占50%,测试集也搞成南北方各占50%

(本答案来自好基友芳菲妹子解答~~~~么么哒~)

@MicoonZhang

不好意思,回答晚了。

相信很多人都会有这种疑惑,我们用标准数据来训练,但是在真是的测试过程中,输入数据的并不会是标准数据,导致了训练与测试的两个过程中数据分布的不一致。

首先要说,训练集合与测试集合的分布完全一样,这个不太现实,因为相对于有限的训练集,测试集合理论上趋于无限大,所以无法穷尽。然而我们也不能为了单单去拟合我们手里的测试集而调整模型。

那么要了解业务场景,要知道你的产品需要到哪些场景中,人为的分析数据源,这样收集到的数据可能会更好。

这里假定你有个识别人脸的应用,你的数据集是来自某知名人脸数据库(简称原数据库),10w张左右,图片清晰标注明确。而你的用户是手机上传图像,图像模糊且场景较复杂,1w张左右。那么现在其实你应该关心的是1w张用户数据,但是1w张样本太少了(假设),那么此时可以随机划分出一部分用户图像与原数据库混合训练,但是测试集合一定是用户图像而非你的原数据库。那么这样的模型可能就会表现的更好一些(相对)。

还有就是做k折交叉验证:

转自:搜狐-机器学习研究会

首先可以将训练数据分为10份,将其中的9份作为训练集(如下蓝色部分),其中的一份作为测试集(如下黄色部分)

通过这个训练数据,训练一个分词和词性标注器,然后对测试数据进行分词和词性标注。这个结果对黄色部分数据来说,就会与测试数据的分布接近,已经不是标准数据了。

然后还有其他9份数据,这个时候类似于K折交叉验证的思想。我们再将其余的9份数据依次作为测试数据。

比如下图类似:

图来自:K折交叉验证 :

GitBookhttps://www.gitbook.com/book/suetming/k-fold-cross-validation/details

If you know the distribution of the verification collection, do you still need to plan your training set?

@唐娜·亚伯拉

一般评分卡的,基本是看PSI


文章转载自网络,作者观点不代表本网站立场,如需处理请联系客服

AI研习社其它文章

CVPR 2018摘要:第一部分

CVPR 2018摘要:第一部分

CVPR 2018摘要:第一部分 AI研习社 2018-11-09 18:44 ...

2018-11-09 18:44:02
TensorFlow系列专题(一):机器学习基础

TensorFlow系列专题(一):机器学习基础

TensorFlow系列专题(一):机器学习基础 AI研习社 2018-11-09 18:44 ...

2018-11-09 18:44:02
机器学习常用数据集合集

机器学习常用数据集合集

机器学习常用数据集合集 AI研习社 2018-11-09 18:44 ...

2018-11-09 18:44:02
双11随便打个折吧

双11随便打个折吧

双11随便打个折吧 AI研习社 2018-11-09 18:44 ...

2018-11-09 18:44:02
深度强化学习在电商推荐中的应用

深度强化学习在电商推荐中的应用

深度强化学习在电商推荐中的应用 AI研习社 2018-11-08 18:22 ...

2018-11-08 18:22:22
CNCC 2018 科技展盛况空前,近 100 家企业汇聚一堂

CNCC 2018 科技展盛况空前,近 100 家企业汇聚一堂

CNCC 2018 科技展盛况空前,近 100 家企业汇聚一堂 AI研习社 2018-10-25 23:25 ...

2018-10-25 23:25:59
用神经网络预测 2018 年美国中期选举

用神经网络预测 2018 年美国中期选举

用神经网络预测 2018 年美国中期选举 AI研习社 2018-10-25 23:25 ...

2018-10-25 23:25:59
提升100倍速度的切片递归神经网络

提升100倍速度的切片递归神经网络

提升100倍速度的切片递归神经网络 AI研习社 2018-10-25 23:25 ...

2018-10-25 23:25:59
青年AI自强计划CV公开课——经典神经网络、面向大数据的图聚类方法

青年AI自强计划CV公开课——经典神经网络、面向大数据的图聚类方法

青年AI自强计划CV公开课——经典神经网络、面向大数据的图聚类方法 AI研习社 2018-10-25 23:25 ...

2018-10-25 23:25:59
商汤 ECCV 2018 精选论文:基于模型共识的大规模无标注数据标签传播方法

商汤 ECCV 2018 精选论文:基于模型共识的大规模无标注数据标签传播方法

商汤 ECCV 2018 精选论文:基于模型共识的大规模无标注数据标签传播方法 AI研习社 2018-10-24 15:31 ...

2018-10-24 15:31:39
AI研习社
AI研习社

最新文章

推荐作者

换一批