人工智能

Posted by Andrew Blog on December 8, 2016

AI

理解

人工智能技术没有什么神奇,大多数情况下都是人工智障。好的效果都要工程师一点一点打磨出来,有多少人工就有多少智能。控制开发成本,追求有限目标。创始人自己懂AI,就先招优秀的工程师,而不只招一堆科学家。

过去10年我们一直在做一件事,那就是打造移动优先的世界。 而在接下来的10年时间里,我们将转到一个AI优先的世界。——Google CEO Sundar Pichai,2016年10月

扫盲

资料

思考

  • 联想
  • 学习现有知识,创造新知识
  • 计算和存储分离
  • 流程
    1. 建模:特征值
    2. 自学:自动/人工提问和回答
    3. 纠错改进

数据

流程

  1. 数据抓爬,清洗
  2. 保存到数据仓库
  3. 分析处理数据
  4. 业务系统提取数据到DB

系统架构及功能

整体() 抓取清洗系统():同时负责数据腐坏处理? 语义分析(析木):对数据仓库的数据做分析 数据仓库(同抓爬):提供业务系统对接接口

人员架构(参考百度的架构)

机器学习(集成应用) 深度学习(研究) 系统开发(研发)

分类

活动,信息

抓爬

  • 第三方库
    • python版本:https://scrapy.org/
    • java版本:webmagic
  • 数据来源类型:微信,网页,API
  • 技术核心:JS动态网页,防盗链,验证码登录
  • 可配置可视化平台

清洗

语义分析

数据仓库

业务系统对接数据仓库的方法:获取从指定时间开始的新增data,处理,业务系统需检查data是否重复(已处理)。