数据收集是所有数据人命周期的初始闭节，埋点数据是启动交易的目标，这十脚都须要基于数据。那么，咱们须要收集的数占有哪些？
谈到数据启动交易，离不开数据是何如来的，数据收集是所有数据人命周期的初始闭节。
数据人命周期的大概引睹，在往日的一篇文章中有提到。虽然文章的局部实质尔预备沉新构造，然而是闭于于这局部的前提闭节，并不太多的变幻。
文章会波及到不少本领相闭的知识，尔会尽管缩小这局部的细节。信赖经过一系列的道授，你会精确埋点数据何如成为启动交易的目标，文章也会供给网上的果然数据，帮帮你本质上手安排。
须要收集的数据重要能区分成四个重要典型：举动数据、网站日记数据、交易数据、外部数据。
一、Web日记数据
网站日记数据是Web时期的观念。
用户欣赏的每一个网页，城市向效劳器发送乞求，简直的本领细节不必闭心。只要领会，当效劳器和用户爆发数据接互，效劳器便会把这次接互记录下来，咱们称之为日记。
127.0.0.1 – – [20/Jul/2017:22:04:08 +0800] “GET /news/index HTTP/1.1” 200 22262 “-” “Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.66 Safari/537.36”
上图即是一条效劳器日记，它奉告了咱们，什么样的用户who在什么时间段when进行了什么安排what。
127.0.0.1是用户IP，即什么样的用户。不共用户的IP并不普遍，经过它能基础的辨别并定位到人。[20/Jul/2017:22:04:08 +0800] 是爆发这笔记录的时间，不妨领会为用户考察的时间戳。
“GET /news/index HTTP/1.1″是效劳器处置乞求的办法，在此地，尚且认为是用户乞求考察了某个网站路途，/news/index。此地简略了域名，假如域名是www.aaa.com，那么用户考察的完备地方即是www.aaa.com/news/index，从字面道理领会，是用户欣赏了新闻页。也即是what。
who、when、what产生了用户举动领会的前提。Mozilla/5.0这个字段是用户欣赏时用的欣赏器，它的领会道理不如前三者。
假如咱们基于who领会，不妨得悉网站每天的PVUV；基于when领会，不妨得悉平稳欣赏时长，逐日考察顶峰；what则能得悉什么实质更吸引人、用户考察的页面深度、变化率等属性。
上头的示例中，咱们用IP数据指代用户，然而用户的IP并不固定，这闭于数据口径的普遍和精确率倒霉。本质运用中还须要研发们经过cookie大概token获得到用户ID，而且将用户ID传播到日记中。它的办法便会形成：
127.0.0.1 – 123456 [20/Jul/2017:22:04:08 +0800]…
123456即是用户ID，经过它便能和后盾的用户标签数据通联，进行更丰厚维度的领会。
案例的效劳器日记，记录了用户的欣赏数据，是尺度的流量领会因素。然而是网站上还会有其他功效，即更丰厚的what，比方指摘、收躲、点赞、下单等，要统计这些举动靠日记便力有未捕了。所以业内除了效劳器日记，还会协共运用JS嵌入大概者后盾采集的办法，针闭于百般交易场景收集数据。
在此地尔供给一份网上果然的数据集，岁月比较陈旧，是弟子在校园网站的欣赏举动数据集。数据本始方法是log，不妨txt挨开。须要的共学不妨在后盾发送「日记下载」。
它是尺度的效劳器日记文件，闭于领会师来说，IP，时间、欣赏了哪些网页，这三个字段脚够干出一份完备的领会汇报。后续的章节尔将环绕它进行演示，为了办理生人，会共时用Excel和Python演示。
开始进行大概的荡涤。假如是Excel，直接将实质复制，文件发端的实质只要要保持第四行Fields信息，它是数据的字段。将实质复制黏贴到Excel中。
按空格进行陈列，发端的数据方法便出来了。
咱们留神参瞅cs-uri-stem，会创造有许多无用数据。比方/images/index_r2_c1.jpg，它是向效劳器乞求了图片数据，闭于咱们领会本来不多大帮帮。用户考察的简直网页，是/index.asp这类以.asp为结果的。
运用过滤功效，将含有.asp字符串的实质提取出来，而且只保持date、time、c-ip、cs-uri-stem、cs-uri-stem。按c-ip和time按从小到大排序，如许用户在什么时间干了什么的举动序列便很领会了。
像172.16.100.11这位乘客，在凌朝30分的时间考察了网站首页，而后欣赏了校园新闻和一周安置相闭的实质，所有会话持续了半小时安排的时间。
Python相闭的荡涤留待下一篇文章，此地便不多花时间道授了。感风趣，大师不妨先自行熟习一下。
二、APP举动数据
数据埋点，抽象领会即是记录用户在客户端的闭头安排举动，一行数据便等于一条举动安排记录。点打「登时抢购」是，在文章页面停留5min是，登载文章指摘是，进行退出登录安排是，视频网站首页瞅到了10条新视频的实质曝光也是…反需要的，咱们都采集。
APP举动数据是在日记数据的前提上展开和完备的。虽然数据的载体是在APP端，然而它共样不妨抽象出几个因素：who、when、where、what、how。
who即独一标记用户，在挪动端，咱们不妨很方便地采集到user_id，一朝用户备案，便会天生新的user_id。
此地有一个问题，假如用户处于未登录状况呢？假如用户有多个账号呢？为了更好地普遍和辨别独一用户，挪动端还会采集device_id，经过手机设备自戴的独一标记码进行辨别。
本质的天生逻辑要搀杂的多，安卓和iOS不普遍，device_id只能趋近于独一、用户调换设备后何如让数据继续，未登录状况的匿名账户何如继续到备案账户，这些城市效率到领会的口径，不共公司的估计逻辑不普遍，此处注沉踩坑。
回到用户举动：
- when保持是举动爆发的时间。
- where即举动爆发的地方，手机上，经过GPS定位权力，获得用户比IP更留神的经纬度数据并不难。
- what是简直的举动，欣赏、点赞、指摘、瓜分、闭心、下单、揭穿、挨赏，均是举动，何如样统计取决于领会的维度。
假如咱们想领会用户的点赞举动，那么在用户点赞的时间乞求客户端上报一条like信息即可。
假如不过到此地，还称不上埋点，因为点赞自己也会写入到数据库中，并不须要客户端特殊采集和上报，此地便引入了崭新的维度：how。
何如样点赞，拿微信伙伴圈举例。绝时势部的点赞都是在伙伴圈timeline中发送，然而是小局部场景，是答运用户加入到心腹的部分页面，闭于发布实质径自点赞的。效劳端/后盾并不领会这个点赞在何处爆发，得iOS大概安卓的客户端奉告它，这即是how这个维度的用处。
换一种思考角度，假如许多点赞大概留言的爆发场景不在伙伴圈，而是在意腹部分页。这是不是能计一致下某些产品需要？毕竟伙伴圈信息流内的实质越来越多，很容易错失心腹的生存百态，所以便会有那么一批用户，有须要去心腹页瞅实质的需要。此地偶尔深刻展开产品问题，不过想证明，哪怕共样是点赞，场景爆发的不共，数据刻画的角度便不共了：伙伴圈的点赞之接/心腹页的点赞至接。
除了场景，接互举动办法也是须要客户端完成的。比方点打实质夸大图片、双办理赞、视频自动播放、触屏右滑回退页面…产品量级小，这些细节无脚轻沉，产品变大了此后，产品们几会有这些细节型需要。
举动埋点，常常用json方法刻画和保存，按点赞举例：
params是嵌套的json，是刻画举动的how，业内常常称为举动参数，event则是事变。action_type指的是何如触发点赞，page是点赞爆发的页面，page_type是页面的典型，姑且产品安排，在举荐为主的信息流中，除了首页，还会在顶栏区分子频道，所以page=feed，page_type=game，不妨领会成是首页的游伶人频道。item_id指闭于哪篇简直的实质点赞，item_type是实质典型为视频。
上述几个字段，便产生了APP端举动采集的how和what了。假如咱们再计划的实脚一些，who、when及其他协帮字段都能加上。
埋点何如安排，不是本篇文章的中心（本质上也搀杂的多，它须要许多计划和文档and so on，有机会再道），因为各家公司都有本人的安排思绪和办法，有些更是按控件统计的无痕埋点。假如大师感风趣，不妨搜集上搜寻文章，不少卖用户领会平台的SaaS公司都有文章留神引睹。
除了举动「点」，埋点统计中还包括「段」的逻辑，即用户在页面上停留了多久，这块也是客户端处置的上风地方，便不多干引睹了。
此地供给一份根源于网上的尔也不领会是啥实质产品的举动数据源，虽然它的良心是用作举荐模型的算法比赛，然而用效率户举动领会也是不妨的。
这几个字段即是用户举动的前提字段，像deep_view，虽然不精确证明是什么含意，然而也猜测是刻画了用户欣赏的深度，比方瞅了50%+的文章实质，它只能以客户端的办法统计，本质交易场景常常都须要这种有更深刻含意的数据。
简直的领会实操留待下一篇文章道授，感风趣的共学不妨自行下载，和网页日记放所有了。
举动数据不是百分百精确的，采集用户举动，也会有丧失和缺漏的情景爆发。此地不倡导沉要的统计口径走埋点逻辑，比方付出，口径缺失问题会让人很抓狂的，相闭统计仍旧依附付出接口估计。付出相闭的埋点仅干领会便行。
APP举动数据常常波及到大数据架构，哪怕10万DAU的一款产品，用户在产品上的安排，也会包括数十个以至上百的安排举动，这些举动都须要精确上报并降到报表，闭于本领架构是一个较大的挑拨。而举动数据的加工处置，也并不是mysql便能草率，常常须要分别式估计。
闭于数据源的运用方，产品经营及领会师，会戴来一个取舍问题。假如尔只想领会点赞和瓜分数，那么经过api大概者消费库也能领会，是否须要精致到举动层面？这即是一个收益的考量。
天然啦，尔部分仍旧挺倡导闭于领会有风趣的共学，去能交战到用户举动数据的公司去进修。
三、交易数据
交易数据是消费情况供给的，咱们在APP端赢得了用户user_id，文章大概商品的item_id，以至付出order_id，然而它们只和用户的举动有闭。换句话说，尔并不领会user_id是什么样的用户。
是男是女，芳龄几何？出身籍贯，从何处来？这些人丁统计学的信息必定不会在举动埋点中包括。商品实质订单也是共理。
单依附埋点的举动数据，咱们并不行精确刻画什么样的用户干了工作，也不领会闭于什么样的实质干了举动。刻画本质的数据/维度是领会的价格地方。男女的举动分别，不共城市的用户普遍购买风俗，这才产生了领会和精致化的前提。
交易数据和举动数据的共同，在数据层面上不妨大概领会为join。比方把用户举动数据的user_id和存放用户信息的user_id进行通联起来。产生如下：
上图是简化后的字段。user_name和sex即是取自交易数据的用户信息，item_tag也是取自实质信息表中的字段，而event则根源于举动埋点。三者一齐产生了，什么样的用户who在什么时间when闭于什么样的实质干了什么事what。
大概说，许多用户举动的建模，即是拿百般数据拉拢在所有估计。用user_id的粒度会合，你算得是这些用户爱好哪些文章，用item_id的粒度会合，你算得是这篇文章被哪类用户爱好。它们都是你对于/领会实物的角度。
从更深的层面上说，举动数据也是不妨再加工和运用的，它是产生用户标签的前提。拿欣赏举动数传闻，咱们安排了埋点，领会王二狗瞅了哪些典型的文章，
item_tag是文章典型，游戏、娱乐、科技这类。有些用户大概百般百般的典型都爱好，有些用户的口味偏好则比较会合，产品上不妨拿用户偏好来代称，此地博指风趣的会合度。
姑且取十脚用户的欣赏数据，算它们在不共典型tag下的欣赏分别（上文供给的举动数据便不妨估计，cate_id即是实质典型）。比方王二狗大概90%的欣赏都是游戏，10%是其他，那么便不妨认为王二狗的风趣会合度高。
此地有一个很肤浅的公式，1-sum(p^2)，将十脚实质典型的欣赏占比平方表态加，最后拿1减去，便算出了用户风趣的会合程度了。咱们拿案例大概瞅下。
上图的李二狗，他的风趣90%会合在游戏，所以风趣会合度= 1 – (0.9*0.9+0.1*0.1)=0.18,李三妞的风趣略微平稳点，所以1-(0.5*0.5+0.5*0.5)=0.5，风趣会合度比王二狗高。
赵四有三个风趣点，所以比李三妞略微高一些，王五是平稳的，所以是四人中最高的。大概有共学疑问，风趣程度为什么不必尺度差算呢？它也是算犹豫偏离的呀，这是一个思考题，大师不妨新加一个tag典型再算一下。
1-sum(p^2)是趋近于1的，有四个典型，一位平稳的用户（四个都是0.25）是0.75的会合度，当有十个典型，一位平稳的用户（四个都是0.1）是0.9的会合度。这种公式的用处即是风趣典型越多，会合度的上限越亲近1，这是尺度差比不了的。
此地并不波及太精炼的数学模型，不过用了加减趁除，便能赶快的估计出风趣的会合程度了。经过举动数据算出用户风趣会合度，便能在领会场景中表现本人的蛮横之地了，它是用户画像的前提，此后有机会再深刻道授。
四、外部数据
外部数据不妨分为二个局部，一个是行业商场调研类的，一个是爬虫抓取的，它们也能动作数据源领会，比方站外热门实质和站内热门实质、竞品闭于手商家展现和本人产品的商家，大师有机会运用的不多，便不多道了，尔也不何如熟。
到此地为止，文章重枢纽了用户举动层面的数据是何如来的，更多是前提观念的道授。然而，因为数据根源于网上，数据的丰厚程度仍旧缺乏了不少，说白了，交易场景比较弱，憧憬大师本人在处事中多思考。
#博栏作家#
秦路，微信公众号ID：tracykanc，大众都是产品经理博栏作家。
本文本创发布于大众都是产品经理。未经答应，遏止转载。