原始数据导出

Resource

GET /insights/:ai/:date.json

Authorization

在 Header 里面添加两个属性：

URL Parameter

date分为两种格式:精确到天(20160520)或者精确到小时(2016052008,20日早上8点),分别对应下载天级别数据与小时级别数据

Responses

Status Code: 200 OK

{
  "downlinks": [
    "link1",
    "link2"
  ]
}

备注：若是downlinks为空，则表示没有原始数据，未开通该功能或者数据尚未生成，联系客服或者稍后再试。否则生成对应每种数据表的下载链接（若表内该时间范围内数据为空，则也不会有导出数据）。

导出数据字段说明

GrowingIO全量数据划分成三个级别，visit，page，action，action_tag与rules表配合组成客户对应圈选的指标数据，custom_attr指对应的打点数据。

visit

page

action

字段备注

1. 三张数据表分别代表GIO定义的三种数据级别，访问级别（visit），页面级别（page）与标签级别（action）。visit代表访问级别的数据，按照session定义访问，page代表页面级别数据，打开的浏览页面就是一条记录，一条访问级别数据对应多条页面级别，action级别数据代表标签数据，定义页面元素标签的显示，点击，提交等事件，三者形成整个用户行为数据层级。目前导出的数据类型除了action下的imp(impression)类型因为数据量过大不可导出，其它数据都已经导出
2. sendTime与eventTime的区别在于前者相当于是GIO平台接收到的时间，而eventTime是事件在客户端真正发生的时间，客户可以根据eventTime重现用户操作时间线
3. 在refer中可以提取utm（广告链接关键字）或者搜索关键字等信息，用于分析访问来源
4. appVersion，model，manufacturer，channel，osVersion仅在mobile端提供，更多信息可以从userAgent中提取
5. 三张数据表可以根据“外键”join，分别是page_id与page表的id，visit_id与visit表的id，action_id单独提供。因为标签事件并不导出impression（显示级别）的数据（数据量太大的缘故），所以建议通过action full outer join page，visit与page基本保持对应，若是在小时级别page数据无法join到对应的visit记录，visit记录可能存在于之前的小时单位中。
6. 所有数据已经根据userId, sessionId, sendTime进行排序，基本能够做到具体用户行为跟踪
7. mobile端浏览器打开页面访问，默认platform类型为Web，若是需要区分则建议根据osVersion
8. action数据中index，info为补充字段，参考changelog说明

打点数据 custom_attr (2017-02-15生效）

custom_attr 内 attribute 字段说明 (2017-02-15生效）

在全量数据之外，提供GrowingIO平台圈选数据映射关系表，包括action_tag与rules表(接口将更新于2016年8月9日)

action_tag

rules（从统计数据的规则逻辑API获取）

备注

1. 在基础部分数据导出（visit, page, action)之外，提供圈选数据与action级别数据的映射部分。
2. 通过action数据中的action_id与action_tag中的action_id聚合，绑定对应的rule_id（映射的规则名称）到action数据上。
3. rules代表了客户在GrowingIO平台上圈选的标签，rule_id即其唯一标识符。
4. 通过rules表将名称绑定到上述的action_tag表中，便于通过名称进行数据分析，识别导出数据中圈选部分的数据情况。
5. action_tag与rules表均是关联信息表，用于更进一步分析导出的部分数据，在导出数据中定位圈选数据。建议规则建立时保持名称的唯一性，GrowingIO平台不保证规则名称唯一性。
6. 相同的规则名称下可能有多个规则类型，规则名称＋规则类型才能区分，此处的规则类型与基础数据action中的事件类型保持一致。

数据处理建议

数据处理建议采用Hive或者Spark平台工具，若是需要导入自有BI平台，可能需要进一步调整数据格式（csv转成其他符合数据处理需求的格式），针对以上的需求，给出相应的数据处理建议。

注意不要以逗号为分隔符进行处理，csv数据格式以引号外的逗号为分隔符

Spark

建议下载数据后，将下载的压缩文件放于hdfs的以日期建立目录结构，同一小时或者同一天的数据放在同一目录下，然后通过spark streaming的fileStream接口监控根目录，读取变动的文件内容。

streamingContext.fileStream[KeyClass, ValueClass, InputFormatClass](dataDirectory)

在依赖中添加：

groupId: com.databricks
artifactId: spark-csv_2.10
version: 1.4.0

具体数据操作参考spark-csv(https://github.com/databricks/spark-csv)

Hive操作

可以参考Hive对CSV数据操作的支持 https://cwiki.apache.org/confluence/display/Hive/CSV+Serde

目前暂未测试该方式～

create external table xxx

数据格式调整处理（以java为例）

新建maven project，在pom.xml中添加以下依赖

    <dependency>
      <groupId>org.apache.commons</groupId>
      <artifactId>commons-compress</artifactId>
      <version>1.12</version>
    </dependency>
    <!-- https://mvnrepository.com/artifact/org.apache.commons/commons-csv -->
    <dependency>
      <groupId>org.apache.commons</groupId>
      <artifactId>commons-csv</artifactId>
      <version>1.4</version>
    </dependency>

而后在读取数据的方法中：

    GzipCompressorInputStream stream = new GzipCompressorInputStream(new BufferedInputStream(new FileInputStream("data/test.gz")));

    Reader reader = new InputStreamReader(stream);
    Iterable<CSVRecord> records = CSVFormat.DEFAULT.parse(reader);
    for (CSVRecord record : records) {
        System.out.println(record);
    }

上例中，数据读取依赖于commons-compress与commons-csv库，同样在python中有类似的数据处理库。

关于数据处理的sdk正在开发计划中～