|
[color=rgba(0, 0, 0, 0.87)]时间：2018-01-21 13:00（星期日）
[color=rgba(0, 0, 0, 0.87)]地点：上海市徐汇区桂林路406号（GDG孵化器）
[color=rgba(0, 0, 0, 0.87)]主题：
[color=rgba(0, 0, 0, 0.87)]13:00～13:30：签到及自我介绍；
[color=rgba(0, 0, 0, 0.87)]13:30～13:45：GDG介绍（ 15 分钟 ）；
[color=rgba(0, 0, 0, 0.87)]13:45～14:30：江俊－TensorFlow Wide & Deep Model；
[color=rgba(0, 0, 0, 0.87)]14:30～15:15：鞠林－基于tensorflow和kubernetes的机器学习基础平台；
[color=rgba(0, 0, 0, 0.87)]15:15～15:30：活动合影
[color=rgba(0, 0, 0, 0.87)]15:45～14:30：孔晓泉－Reinforcement Learning 和 OpenAI Gym 的简介与入门。 [color=rgba(0, 0, 0, 0.87)]
[color=rgba(0, 0, 0, 0.87)]
- TensorFlow wide & deep model
江骏 饿了么深度学习平台 模型用处： 用于处理结构化数据（Structured data） 这些结构化数据做两件事：分类+回归（预测）
主要使用两种传统方法 XGBoost Scikit-Learn models(random forests, etc)，模型使用上比较简单 算法工程师的经验在于要花很多时间在数据预处理
wide & deep model模型： 2016-06-24 较早出现 a wide linear model + a deep feed-forward neural network 在google play应用. Paper 《wide & deep learning for recommender systems》 缺点：对见过的数据表现好（wide），对没有出现的数据效果不好，比不上dnn 将两个模型结合，思路是融合两者优势。 饿了么竞赛实用模型，成功进入决赛
特征列 Feature columns（tensorflow package）的使用 - 连续型 - 非连续型（知道具体列别数量，不知道具体类别数量） - Transformed feature columns . Bucketed Columns （年龄段、订餐时间段）人为划分界限 . Crossed Columns （商家的一系列特征）人为告诉告诉线性模型特征的相关性，wide部分使用，linear
模型 Model Estimator 之前放在contrib.现在放在estimator中(17年)，更加规范 estimator类似于interface，可以让算法工程师专注于算法？ paper 《Creating custom estimators in tensorflow》
导出模型/使用模型 tensorflow serving 为 tensorflow serving 输出模型
Model 工具 gRPC: RPC=Remote Procedure Call 好处：微服务化
饿了么实践&踩过的坑 四点实践： 出餐、取餐、送餐时间预估 商家订单量预估 商家代金券发放 搜索推荐点击率、购买率预估
踩过的坑： - 训练时间长（～20min+），比XGBoost好的不明显
- 需要tensorflow基础，代码量更大
- Pandas 只允许float有缺失值，不允许int有缺失，如果有缺失会转换为float。xgboost已经隐含缺失值处理。
Google cloud platform Google cloudml engin 配套服务齐全 建议自己上去实践一下
- 基于tensorflow和kubernetes的机器学习基础平台
鞠林 Bilibili part 1，关于AI Infrastructure（机器学习/深度学习相关的基础设施）的一些思考，顺便简单介绍一些机器学习领域常用的开源组件和解决方案； part 2，介绍b站在机器学习基础设施方面的实践。
Part 1 基础架构=中间件 middleware 三张图 GPU选用，要结合业务中的使用情况 Available gpu management tools DCGM
Tpu google，将深度学习常用的方法进行了封装 容器会遇到的问题：image管理 英伟达对docker做的封装：nvidia-docker
NCCL CUDA CuDNN OpenCL 数据并行和模型并行 数据并行： 节点并不是越多越好，需要权衡 两者各有缺点，然后就进行结合
同步训练：节点计算速度不一样，资源可能会有浪费 异步训练：目前用得比较多 autoMl: 用机器学习的方法给机器学习调参
part 2 FaaS: Function as a service
- Reinforcement Learning 和 OpenAI Gym 的简介与入门
孔晓泉 饿了么，偏探索领域
强化学习三个关键词： 环境，行动，利益 openAI简介 OpenAI Gym is a toolkit for developing and comparing reinforcement learning algorithms.
Q learning
能考虑到多步之间的联系
Q&A Q: k8s原生还不支持对于gpu显存的调度，他们是不是做了深入化的定制，如何实现的 (鞠林) A: 就是基于NVIDIA nvml的包获取gpu的资源信息
| 
发表于 2018-3-20 22:35:18
收藏