昨天开始,朋友圈内就开始撕,先是今日头条和艾瑞,接着是易观和美洽,后面还有一堆不明真相的群众围观。其实关于数据分析,从来就不是一件容易的事情,这里面有学术,有苦功,有商业,有利益,有道德,有丑陋,还有营销宣传与事实真相之间的偏差与关联方的冲突。但是情报工作却永远都很重要,对指挥决策和形势判断,对企业的生死存亡都非常关键。
其实无论艾瑞和易观,在有效数据采集源中都会遇到几个大问题
1、在PC时代,流量为核心,可以用网络爬虫分析,网站数据套录和借助很多第三方数据进行加权分析,相对来说会比较容易把控。但是进入了移动互联时代,有微信和App,都是相对封闭的体系,各种第三方的工具越多,恰恰说明这事挺难。
2、几乎没有实地去拜访客户与抽样调查,反向验证不够,如果开始一个基础数据错了,由于他们的影响力会“以讹传讹”,多点反射回来后,数据被其他相关方进行了部分的人为调整,但是又在一个跟他们接近的“可信区间范畴”,于是他们就自我强化认为是真的。
3、受制于成本,主要去访谈相关企业的领导者,要么不告诉你实情,说是商业秘密;要么告诉你大幅掺水的数据,为了商业目的。所以原始数据源的强力干扰,你让这些主要在家做数据分析的人怎么办?于是又开始上网搜索,看看谁的报道多,信息多,于是再进行一定的人为修正。
4、移动端的刷榜和造假,导致Android应用市场的数据基本上不能用,iOS又不公开,只能进行推测。但是偷懒的数据分析员会将Android市场的数据套录后简单粗暴地进行互相比较,得出结论,而写报告的人有时连这些应用都没有下载过,别说体验和测试了。
5、第三方的友盟、个推和百度腾讯等都是通过手机预装某些监测软件,或者作为很多应用的内嵌用户行为分析系统获取相关数据的,每个公司都只能覆盖一部分手机和应用,也不大开放给别人或者需要购买,这也是艾瑞和易观的商业模式之一。
因此在大众应用和大样本覆盖的App等产品,基于采样数据比较大,所以计算后也能放大得比较准确,相对而言,艾瑞的数据比易观强。但是在小众应用,低频应用如移动医疗,专业应用如医生工具和社区,由于采样点很难足够match到目标用户,他们的数据都一团糟,没有多大参考价值,其实即使BAT也不怎么样,机缘巧合之下我看过了腾讯某月对各移动医疗活跃数的内部数据报告,却严重低估了,这样其领导者在可以拉取自己投资或者将要投资的公司的后台数据后,一比较,做出愚蠢的形势判断和决策是有情可原的。
6、给钱了就排在前面,不少已经沦为广告和公关公司了,这是一个成熟产业链。
那么关于移动端数据采集的方法论,我来公开一下我们团队是怎么做的。
问诊平台的数据拉取
(1) 穷举法,列出平台上所有主要科室(内分泌、妇科、肾内科、肿瘤、神经内科、心血管内科会是重点)的医生列表,包括职称、地区、科室,服务人数等,比较医生的质量。步骤是:①医生界面截图,②图文识别上传,③识别好的进行整理。
所以任何平台跟我吹牛有XX万医生都没有意义,你如果真把这个医生上到了平台,会让患者找不到吗?所以我们会做所有这些数据分析人员都不会做的事情,穷举,就是一个个全部拉出来。而那些数据公司,包括BAT都是聪明人太多,没有人肯干这种苦活。
(2) 但是并不代表平台上来的医生就是真的,包括青苹果和杏仁在内都有大批代注册,虚假注册和卸载的医生,统计每天平台上的活跃医生,每个平台抽样100次进行问诊(分时间段进行),统计回复时间;可通过两次提交问题后生成的订单数之差,获得提问用户数。
(3) 合并在多个平台上出现的医生;对出现在2个或3个平台上的医生,进行集中抽样,推算各平台之间的活跃度关系,还要比较不同科室的活跃度。会有一个比较系数的区间范围,那么当我们可以比较精确地“锚定”一个平台的数据,就能进行可信的比较推算。
(4) 实际大量问诊后获得有效数据,有时候会出现对同一问题,不同医生不同平台的完全一致性的整段回答,答案是什么并不重要,但是这个现象本身难道不能说明一些事情吗?由此对一些可疑平台,如青苹果和平安好医生的大量一致性回复,我们将答案复制黏贴去百度,发现源于百度和一些医学知识库的整段问答,一个标点符号都不差;再深入调研,原来他们请了好多实习生,护士和一些文秘,教会这些方法,来用医生的名义去代替医生回答患者的问题。
实战案例
1、同时用四个手机测试在同一平台上,在同一时间,在同一个科室内,根据同一问题,获得答复之间的时间差,以及参与回复的医生的数量,并且查看医生是否有循环回答的情况。通过在同一科室内的反复测试就可以知道在这一时间段,平台上这一科室内真实有效的活跃医生数量。
2、随后,我们同步测试这一平台上所有的十几个科室,取加权平均,就可以进一步推测这个平台上这一时间内总活跃(所有科室)的医生的数量。
3、最后,取多天多点时间,就可以大致推算出这个平台目前为止总活跃用户的数量和活跃程度(使用时间,因为我们在测评中发现有些医生总是在线,有些总是不在)。
我们在测试的时候,发现有些医生活跃的时间在上午,有些在下午,但是大多数的医生整块活跃时间都在中午11点~2点多,以及晚上8点之后,不过会随着患者问诊的量而发生动态变化。根据统计学分析,我们先做散点图,得出医生活跃数据数量的分布图,等到了我们要进行测试计量的时间段之内,测试的不同分组内还会有一些活跃的细微的差别。周末、节假日、工作日等因素都会导致结果之间有差别。
因此在做分组统计之前,我们要做均衡性检验,多点取样,多重因素回归,避免单一分析出现较大误差。还有,我们可能从之前的测试中推断出某个科室的某个医生是非常活跃用户,然后我们为了反过来验证其是否是重度活跃用户,我们会把某个问题问这个科室的医生,再把同样问题问其他科室的医生,把其他科室医生的问题再拿回来问这个科室的医生等等,这是一个数学上循环代入、验证测试的方法。将之前推断出的活跃医生和重度用户进行反向推测验证,再将多个测试点的情况进行带入情况进行加权平均,看是否符合我们之前猜测的数学模型,是否需要修订结果,然后结果还要再取加权平均。
那么我们为什么要测医生流量呢?因为我们需要依靠医生流量来推测患者流量。我们不知道该平台覆盖的患者数量,但是患者是来这个平台是咨询医生的,所以我们可以根据这个平台上现有活跃医生的数量,计算出这个平台在某个时间内所能接待的最大患者数量,用这种方法进行反向推定上限。换句话说,根据平台上的医生数量,那每天有多少患者流量的上限肯定是能算出来的,这是使用间接法来测量。
为了便于理解,我给大家举一个我儿子参加小学生奥数培训的一道题目来类比,用数学上行船顺流逆流的问题演算方法来进行患者流量的判断。顺流逆流其实是一个数学思想,我们并不知道目前水流的速度和我的船速,但是顺流速度=船速+水速,逆流速度=船速-水速,因此根据船分别在顺流和逆流中行进到达某目标的时间不同,我们就可以通过公式计算得到我们的船速和水流速度,或者两者的关系。
在我们的流量测试中,这个概念是相同的——我不知道某具体流量情况如何,但是我们可以通过多点取样,反复代入来对相对的情况进行推测,随着时间样本的不断增加就会比较准确,不过这种方法测量的一段时间的平均值,无法预测峰值,对于爆发式增长的平台不适合,需要等他稳定下来再说。
医药电商
(1)天猫医药馆:穷举法列出所有商品的SKU指数,包括名称、价格、销量,其中销量以月为单位统计(已拉取1月份的销量)通过相邻两月的销量差,得出某种商品当月销售量,累计所有商品的月销售量,获得总销量。
(2)App:通过下单后获得的订单差来计算销量,刚开始可连续三天下单,获得每日的销量,后面可间隔一周,然后两周,挨着顺延,间隔四周时APP销量数据调研告一段落。
但是有些App很聪明,进行了随机修订,比如:
X药网:在X药网的App上2号、3号和4号分别下了单,单号分别是20160202153530345135、20160203155912377206、20160204155625337309,其中2号和4号的单是用同一账户付款的,3号的单是另一账户付的款,可以看出除了前面的年月日的8位,后面的12位的后10位也是没规律的,并不像其他平台同一账户付款的话最后四位是一样的。通过单号是不能看出销量差别的。但是请注意,随着采样数目的增加,还是可以看出部分规律的。
比如某药网:3号下了两单,两笔订单的间隔时间是5分钟,订单号分别是42596980179和42597620179,中间三位数看起来是有规律的,后面一单比前面一单多64。3号晚上10点又下了一单,订单号是42630820124,距离下午下单间隔大概5个小时,多了三千多,但是五个小时多这么多订单不合情理啊,于是你可以立即连续下单,你就能够发现单与单之间的数据倍数关系,这是小学数学应用题的解法“归一法”。可能是为了扰乱做数据分析的人,还可能是为了给投资人等直接拉后台数据时看的。
那么将天猫和App的数据进行综合分析,可以大致拉出该医药电商的真实流量,乘上平均客单价再乘一个退货和刷单系数,就是真实流水的推算。
以上说了那么多,都只不过是网络数据拉取分析的冰山一角,我们也一直在实践中总结新的方法。但是网络的造假和刷榜你只有大概印象,无法精确分析,这时候就需要大量的实体营销人员去拜访客户,点对点访谈,长期抽样调查来进行交互印证了。说一句话很容易,这要花多大时间和人力消耗呢?所以这些方法就算全告诉大家又怎么样?没有一个数据分析公司会养六个全职,十多个地推三年时间去专门做一个这么小的行业,他们都喜欢一下抓住重点“捞干货”。
来源:虎嗅网
为你推荐

药价查询,药价查询,全国已有29个省、市及新疆生产建设兵团上线定点药店比价小程序
据新闻联播报道,国家医疗保障局消息,截至目前,全国已有29个省(自治区、直辖市)及新疆生产建设兵团上线定点药店比价小程序,可实现药品价格在手机上一键查询、实时比对和位...
2025-02-22 21:28

CDE:晚期胃癌新药临床试验设计指导原则
胃癌(Gastric cancer, GC) 是我国高发的消化系统恶性肿瘤, 其新发病例数和死亡病例数分别位列我国恶性肿瘤发病和死亡的第 5 位和第 3 位。
2025-02-21 21:19

首款依视路星趣控眼镜于上海眼镜展全球首秀 专为近视管理设计 延缓中国儿童青少年近视进展
依视路星趣控眼镜提供符合人体工程学设计的镜架,满足不同年龄段的孩子在面部结构和尺寸上的显著差异,尺码范围广,覆盖38号至50号,为3-5岁儿童,6-9岁和10-12岁青少年年龄段提...
2025-02-21 17:33

百林科完成A+轮战略融资数亿元,多家投资机构联合投资
百林科成立于2021年9月10日,是一家专注于疫苗、抗体药物、重组蛋白、细胞治疗、基因治疗、血液制品以及其他生物制品关键工艺设备与耗材研发和制造的高科技企业。
2025-02-21 13:30

深研生物完成超3亿元B+轮融资,越秀产业基金领投
深研生物成立于2014年,是一家专注于细胞与基因治疗(CGT)领域的高新技术企业,致力于为核心技术与设备的自主研究和开发提供整体解决方案。
2025-02-21 13:23

阿斯利康以1.6亿美元收购珐博进中国,获得罗沙司他在中国的独家权利
昨日(2月20日)晚间,阿斯利康在其官微宣布与珐博进有限公司达成协议,将以约1 6亿美元收购珐博进中国。
2025-02-21 10:20

快速崛起的中国创新药公司,真实生物赴港IPO
2月18日据港交所披露,真实生物科技有限公司(以下简称“真实生物“)递交上市申请书,中金公司为其独家保荐人。这家成立于2012年的生物科技企业,以创新药物研发为核心,专注于...
2025-02-20 20:57

华东医药经皮肾小球滤过率测量设备获批,有望提供GFR监测新方法
2025年2月19日晚,华东医药(000963 SZ)公告,其全资子公司杭州中美华东制药有限公司申报的创新产品三类医疗器械经皮肾小球滤过率测量设备注册申请获得上市批准。
2025-02-19 19:15

国采中选企业满足一定条件,可变更药品上市许可持有人及生产企业、增加规格包装等,第一批名单发布
2月18日,国家组织药品联合采购办公室发布《关于国家组织药品集中采购部分中选药品信息变更的通知(第一批)》,涉及到5批国采的15个品种。
2025-02-19 18:26

凯米生物完成超亿元Pre-A轮融资首关,加速肿瘤治疗性疫苗全球布局
此次融资将用于加速核心产品SN3001(前列腺癌治疗性疫苗)、SN2001(慢性乙肝免疫治疗疫苗)的全球临床,以及基于SynNeogen®核心技术平台的肿瘤治疗性疫苗产品持续布局。
2025-02-19 13:50

潜在交易金额超12亿美元,石药集团ADC癌症新药达成国际授权合作
今日(2月19日),石药集团发布公告称,其控股子公司巨石生物与Radiance Biopharma达成协议,Radiance Biopharma将获得巨石生物自主研发的重组抗人类受体酪氨酸激酶样孤儿受体1...
2025-02-19 11:21

又一玩家加入,来自恒瑞医药的“近视神药”上市申请获受理
近日,恒瑞医药发布公告宣布,公司已经收到国家药监局下发的《受理通知书》,旗下产品 HR19034滴眼液的药品上市许可申请获得国家药监局受理。
2025-02-19 10:47

国家医保局:医保领域2025年度第一批重点事项清单
2025年底前,全国80%左右统区基本实现与定点医药机构即时结算。基本实现医保部门与医药企业对集采药品的直接结算,加快推动与医药企业对集采医用耗材、国谈药的直接结算。
2025-02-18 21:14

“悦如初,达新程” 2025特应性皮炎免疫创新学术会议于成都举办
特应性皮炎是一种慢性、复发性、炎症性皮肤病,在非致命性皮肤疾病中疾病负担位列第一,给患者个人及家庭带来沉重的生理、心理负担,造成长期的社会影响。
2025-02-18 10:58

拜耳在欧盟申请EyleaTM 8mg治疗间隔延长至6个月
拜耳已向欧洲药品管理局(EMA)提交申请,将EyleaTM 8mg(阿柏西普8mg,114 3mg ml注射液)用于治疗两种主要视网膜疾病,即新生血管(湿性)年龄相关性黄斑变性(nAMD)和糖...
2025-02-17 19:55

EyleaTM 8mg延长给药间隔治疗湿性年龄相关性黄斑变性的长期疗效和安全性在三年时得到证实
近日,在于美国迈阿密举行的第22届新生血管年会上,拜耳及其合作伙伴Regeneron公布了PULSAR开放标签扩展研究治疗新生血管(湿性)年龄相关性黄斑变性(nAMD)患者第三年的临床试验结果。
2025-02-17 19:44

备思复(维恩妥尤单抗)联合疗法全国首张处方落地,开启泌尿肿瘤精准治疗新篇章
2025年2月17日,北京大学肿瘤医院泌尿肿瘤暨黑色素瘤肉瘤内科主任、中国临床肿瘤学会副理事长兼秘书长郭军教授为一位晚期尿路上皮癌患者开具备思复(维恩妥尤单抗)联合帕博利珠...
2025-02-17 19:38

安诊儿率先融合DeepSeek-R1,升级大模型底座能力
2月16日,由浙江省卫健委和蚂蚁集团联合推出的 "安诊儿 "宣布融合DeepSeek-R1,升级大模型底座能力,成为国内首批支持专业推理模型的AI医疗健康应用之一。
2025-02-16 15:46