数据清洗是什么？ 和人工智能的配套服务产业有什么关系
时间3月31日凌晨消息，英国老牌公共BBC正面临危机，其年轻一代听众每周花费在看网络电视Netflix上的时间比收看BBC系列电视节目的时间更长，而且比起BBC的节目，年轻人更喜欢像Spotify这样的在线流音乐服务。
“明日打车0元起，还赠周末大额立减券！1程即送，多乘多送，最高可获四张价值61元的立减券。“过去一周，随着美团打车强势登陆上海市场，网约车市场原来的霸主滴滴明显感受到了，补贴大战逐渐升温，”0元打车“重现江湖。在3月21
据中国证券监督管理委员会网站消息，日前，国务院办公厅转发了证监会《关于开展创新企业境内发行股票或存托凭证试点的若干意见》，证监会新闻发言人常德鹏表示，证监会将着重处理好试点与风险防控的关系，把防控风险放到更加重要的。常德鹏介
小刀马【作者微信：xiaodaoma】Uber在中国、俄罗斯市场撤退之后，在东南亚、印度市场也开始频频撤离。近日，有消息称，Uber正在与印度打车服务Ola进行谈判，后者有意将Uber在印度的业务纳为己有。Uber最大的投资方软银给
文AI财经社 刘雪儿编辑祝同一年半宣布融资200亿元人民币，烧钱如流水的共享单车，也不得不甘拜下风。3月23日，一份科技部认定的独角兽名单发布，威马汽车以50亿美元估值排名第18位，与蔚来汽车并列成为中国估值最高的新能源汽车公司。随后
作者莫开伟 李江权落叶归根是中国人固有的情节，尤其对卸活的压力，常常生活在回忆中的老年人而言，回顾熟悉的城市、巷陌，呼吸着新鲜的空气，与儿时的玩伴一起品茶论道，笑谈间重温成长的点点滴滴总是让人无限遐想。而今，为改善A股上市公司质量，提升
#天津高速况#2018年3月31日07:43，S1津蓟高速全线入口（除宝坻温泉城站驶往天津方向、蓟州站、田家峪站驶往方向）限行黄牌照货车及品车辆。获取后续进展及天津境内高速公的通行情况，请关注头条号—天津高速公。@天津高速公
在电子科大，学霸寝室其实并不稀奇。今天，我们要给大家介绍的是一个型的学霸寝室，用他们自己的话来说，“我们宿舍氛围好，学得不辛苦”。大一的时候，邵琪佳、刘睿、张轶超经过选拔，进入了英才实验学院，与龚新宇经过组合走到了110宿舍。每天，
中新社3月31日电(记冉文娟张素)由凤凰卫视、中国新闻社、世界华文集团策划发起，联同十余家华文及大学共同主办的“世界因你而美丽——2017-2018影响世界华人盛典”颁典礼30日晚在举行。中新社经过主办机构的严格
华为创始人、总裁任正非凤凰网科技 刘正伟华为今天交出了一份不错的成绩单：2017年实现全球销售收入6036亿元，同比增长15.7%，经营活动现金流高达963亿元。华为2017年据相比2016年不到0.5%的增长，华为2017年净利润47
【文创沙龙】积极推进设计与教育、科技、文化的融合宋慰祖（市常委、民盟市委专职副主委）设计在中国进入了新时代发展的机遇期。如何提升中国的设计水平和能力？学术性也是一个核心问题。党的十九大报告指出：我国社会主要矛盾已经为人民日益
文字：弟弟＆村r图片：弟弟＆村r2018年度西城区“三好杯”再度来袭经过上周末36场的激烈对决各小组出线形势逐渐明朗运气也好，实力也罢，各种因素促成了目前的小组赛格局下面我们分析一下各组的出线形势：A组—育才学校未尝一败A组小组赛目前仅剩下
太多的甜言蜜语显得格外虚假，太多的千言万语显得多此一举！很庆幸你能看到这篇文章。金帆认为投资不是花钱买经验，不是花钱买教训，更不是花钱让你刺激，我不知道有时候会不会有朋友在怀疑投资的初衷？屡战屡败，为何不转弯？当然同时也恭喜在资本市场获
“教育是个循序渐进的过程。”“请相信每个孩子都是一颗会开花的草，让我们都慢慢慢下来，尊重教育规律，静听心语，静待花开。”这是全国优秀教师、市第二十三中学教师苗在华写下的教育。24年来，苗在华扎根二十三中这所薄弱校，形成了自己的教
来源挖贝新三板研究院 崔学汉挖贝新三板研究院数据显示，截至3月29日，已公布2017年年报的企业中，有298家公司公布了2017年度现金分红预案，其中64家在近1年内发生过定向增发，占比26%。一边大手笔募资，一边大手笔派现。背后的逻辑何
随着新三板企业数量进入“万家时代”，并购成为存量市场优化资源配置重要手段。统计数据显示，2017年上市公司对新三板并购案例共计158例，成功实施92例，失败3例，剩余63例正在进行中。按行业分析，TMT、专用设备和通用设备制造业、化学原料及
如今社会发展迅速，每个家庭的生活水平都很高，尤其是对于小孩子来说，在家里几乎想要任何东西，家长都会尽量满足，所以导致有些孩子从小不知节俭，因为他们并不懂得父母赚钱是需要多么辛苦的付出。近日，在山东的一个公园里，有一项儿童拓展活动引起了很
在国内汽车市场上，伴随着近年来越来越多新兴车企的崛起，年轻车型对汽车市场的发展起到了比较大的作用，尤其是像众泰、陆风、东南等国产新兴车企展现出了不错的潜力，成为了汽车市场上的“搅屎棍”，对国产老牌车企和合资车企产生了比较大的影响，而吉利在当
一季度，美股波动性加剧，标准500指数出现两年以来第一个季度下跌。VIX恐慌指数从历史低位飙涨81%，回归过去平均水平。两年以来，美股一直处于牛市缓涨的格局。然而，最近这一情况被动荡的局势所打破，美股也出现了自2016年初上涨以来
“ 这是『书影时光』专栏第23期咪咕阅读陪你一起读书追剧” 本期推荐 水形物语 导演：吉尔莫·德尔·托罗主演：莎莉·霍金斯 / 道格·琼斯类型：剧情 / 爱情 / 奇幻豆瓣评分：7.3剧情介绍
拟迁入教育小镇学校名单学谷教育小镇位于衡水市区东南部，河沿镇东侧和北侧，拟迁入教育小镇学校如下：（1）衡水桃城中学初中部（一分部、二分部和国际学校）；（2）衡水桃城中学高中部；（3）衡水中学（西校区）；（4）衡水市职业技术教育中心；（6）教
汇通网讯——投资者于4月2日需关注09:45公布的中国3月财新制造业PMI、21:45公布的美国3月Markit制造业PMI终值、以及22:00公布的美国3月ISM制造业PMI。周一(4月2日)，投资者需关注09:45公布的中国3月
降低噪：采用和米其林合作定制的轮胎 市面上买不到同款。噪方面其实主要的来源是轮胎与不同地面接触的噪音，而我们日常在城市驾驶，大部分还是行驶在柏油铺装面，相对比较平整，但是不同的轮胎，传递到车内的噪音是一定不同的。别看GL6售价
汇通网讯——过去5年里，美国的页岩油成为石油市场的头号游戏规则改变者。随着页岩油的开采，我们看到油市出现某种形式的“竞争力”。过去5年里， 美国的 页岩油成为石油市场的头号游戏规则改变者。随着页岩油的开采，我们看到油市出现某
图文无关credit:123RF山景城Mountain View也称芒廷维尤——美国国家运输安全委员会NTSB宣布将彻查上周五发生的那起特斯拉Model X的致命车祸，厘清自动驾驶系统在车祸中所应该承担的责任。该机构周二宣布，
3月29日，美国电动汽车生产商特斯拉，宣布全球召回约12.3万辆轿车。（熏疼~特斯拉历史上规模最大的召回事件了~）原因是发现特定螺栓在寒冷气候下腐蚀可能导致方向盘失灵。特斯拉表示，召回范围是2016年4月前生产的
青春题材剧可谓是捧新人的利器，去年，一部《小美好》就将男主胡一天推上了当红流量小生的阵营。最近，又有三部青春题材的剧官宣，观看海报你看哪部？1·《我只喜欢你》该剧是小说《我不喜欢这个世界我只喜欢你》改编的，之前，官宣了女主吴倩和男主张剑雨。
俗话说，“每一个成功女人的背后，都有一群爱着她的男人。”，这些年流行的“大女主”剧也验证了的话。没有三四个男人爱女主的剧，都不好意思叫热播剧。1·《武媚娘传奇》武则天，中国唯一一个女，历史上没有过多描述过她的容貌，但是上的才华是
曾经，一个叫李逍遥的少年闯入了我们的视线中，当时也许谁都没想到，这是一个经典的开端，赵灵儿，林月如，阿奴，这些至今仍旧无法忘记的名字，他们将深深扎入我们的心中，至今我们仍然记得，锁妖塔上，月如奋不顾身，南疆水下，灵儿舍生取义...一
随着手机性能越来越强，使我们的生活也更加方便，近日，中国移动咪咕公司对外发布了全球首款以大熊猫内容为主题的音频、视频彩铃，相比之前拨打电话，主叫用户在拨叫时除了能听到彩铃之外，还可以看到一段视频，另外视频彩铃支持用户自行视频上传。
飞速发展的人工智能产业，很容易让人看到技术售卖和行业迭代中的商业潜力。无论是巨头还是新晋独角兽，显然都在尽力提速，生怕掉队。但如此高的产业发展速度，事实上也催生了大量新的需求。这就像汽车的发展虽然盘活了交通运输，同时也催生了修车业的海量工作机会。
熟悉大数据的朋友应该对数据清理不会陌生，而在以机器学习为主要手段的AI爆发中，数据清洗也有了更重要的价值和愈发丰富的刚性需求。
数据清洗(Datacleaning)是大数据生产过程中的必须环节。我们知道，大数据发生效用来自于数据仓库对大数据的吞吐。但假如输入了错误或者无效的数据，那么输出时就会影响效果、产生误差，甚至造成bug。这些无效和错误的数据，被称为“脏数据”。而数据清洗顾名思义，就是要用各种手段把脏数据标记并清理出来。
我们采访过的很多大数据机构和云服务公司负责人都了这样的说法：数据清洗是成本消耗最严重的工作之一。
在今天的主流AI工程化进程里，机器学习是最广泛使用的技术。而目前机器学习的主要实现手段是监督学习。
所谓监督学习，是由研发者使用已知数据集，让智能体基于标记的输入和输出数据进行推理，从而学习到达成目标的径，让自己不断“聪明起来”。
理论上来说，智能体学习的数据越多就会越聪明，从而再生产出优质数据进行再学习，这样就可以不断完成进化。但这种最优状况，是建立在机器学习的数据都没错的情况下，假如其中混杂了错误数据，那么学习得出的结果显然也是错的。
更重要的是，机器学习想要达成，必须建立在数据的一致性和体系化基础上，假如错误数据造成了整个数据链的割裂，那么机器学习过程也将终止，就无从谈什么人工智能了。
举一个我们熟悉的例子：我们最常用的手机电商中，其实安插了大量机器学习算法来进行个性推荐。因为手机的屏幕显示量很小，假如推送的电商信息大多不符合用户期待，用户需要一直向下寻找，那么体验会很差，也影响电商体系的效率。这里就需要机器学习来建立用户个性化推荐模型，提供多种行为下的商品排序特征。
这个场景中的机器学习，必须建立在优质大数据的基础上，既要学习目标用户的数据样本，也要综合群体性数据和标签化数据，进行综合任务学习。而电商平台获取的数据，包括用户群的点击、搜索、购物车添加和收藏，以及最终的购买频次等等。但这些数据中可能大量的“脏数据”。
这里就需要把电商数据系统中的缺漏数据、重复数据、错误数据剔除出去，机器学习内容的标准化和特征一致化。这之后剩下的优质数据才能提供给模型进行训练。
由此可见，数据清洗在人工智能的落地实现中常重要的一环。训练用的数据越多、训练模型越复杂，对数据清洗的工作需求量就越大。
假如人工智能飞速发展，数据清洗作为配图服务工种却没有跟上发展速度，那后果是很的——想想《机器人总动员》里的小机器人，独自在垃圾星球中孤独而无尽的清理着。可以说是很可怜了……
这里说个题外话。如上所述，数据清理是个人工需求繁重、成本极高的工作种类，而且主要是和数据打交道。换句话说，这个工作具备进行人工智能升级的各种要素。
第一种是用机器学习技术训练智能体学习数据清洗的逻辑，从而优化数据清洗中的人工与机器工作分配比重。让一些人工分类、筛选和标注工作能够被机器执行，甚至准确率更高。
第二种是结合贝叶斯分类算法。贝叶斯分类是一种利用概率统计知识进行分类的算法，特征是分类准确率高、速度快，适合快速部署在数据归纳与统计当中。利用贝叶斯相关算法和技术，进行良性数据和脏数据的区分也在成为数据清洗的重要手段之一。
此外，其他利用文本识别算法与识别技术的AI能力来进行数据清洗的尝试也在逐渐增多。比如决策树、随机森林的算法都有根据特征判断不良数据的能力。算法识别主要可以增强特定领域的数据分析能力，更快投入实际应用。
由此可见，数据清洗和人工智能是互相需要，无法分割的两类技术。以AI驱动数据清洗效率，反过来为AI体系服务，应该是未来的良性增长周期。
不仅是数据清洗行业，广泛来看，多种服务于AI硬件、数据和应用体系的配套产业发展都还远远不能达标。这点也是美国整个AI产业结构优于中国的重要环节，当然，即便是在美国，AI产业的发展与配套服务产业的建设速度也是不协调的。
目前来看这可能还不会形成巨大问题，但如果AI创业开始全面提速，个性化需求开始激增，那么配套设施的落后很可能成为行业的制约。
以针对AI产业的数据清洗为例，目前这个行业主要是面对大公司和集团企业服务，依旧保持着重度人工投入的劳动密集型特征。如果需求开始碎片化，服务成本很可能快速提升，成为创业者的成本负担。
其次，AI数据清洗服务相对集中的产业逻辑，也让适应创业企业的服务方案变成了稀缺品。一家以垂直领域AI为创业目标的公司，很难找到适合的数据清洗服务。从而不得不搭设数据服务部门，消耗大量精力和人力，也提升了“重新发明轮子”的创业门槛。
另外，传统云计算服务的数据清洗逻辑和人工智能的结合程度不够高，也了新的算法、模型投入使用时数据服务的服务能力。让很多技术创意较强或者海外引进的技术，在实践中无法部署。
数据层面的AI配套服务，主要集中在巨头手中，对创业群体而言障碍极多。当然这也可能是个新的创业机遇。把巨头独占的AI能力和定制化，很可能是AI企业服务中最大的机会之一。
AI是一座型的商业建筑。当然我们喜欢看塔尖上的珠宝，但最下一层没有人添砖加瓦的话，一切不过永远流于空谈而已。