0%

从数据处理到人工智能

数据表示->数据清洗->数据统计->数据可视化->数据挖掘->人工智能

  • 数据表示:采用合适方式用程序表达数据

  • 数据清理:数据归一化、数据转换、异常值处理

  • 数据统计:数据的概要理解,数量、分布、中位数等

  • 数据可视化:直观展示数据内涵的方式

  • 数据挖掘:从数据分析获得知识,产生数据外的价值

  • 人工智能:数据/语言/图像/视觉等方面深度分析与决策

阅读全文 »

实例:体育竞技分析

高手过招,胜负只在毫厘之间

“体育竞技分析”问题分析

体育竞技分析

  • 需求:毫厘是多少?如何科学分析体育竞技比赛?

  • 输入:球员的水平

  • 输出:可预测的比赛成绩

阅读全文 »

文件的使用

文件的类型

文件的理解

文件是数据的抽象和集合

  • 文件是存储在辅助存储器上的数据序列
  • 文件是数据存储的一种形式
  • 文件展现形态:文本文件和二进制文件
阅读全文 »

程序设计语言

编程语言种类很多,但生命力强劲的却不多

  • 编程语言有超过600种,绝大部分都不再被使用
  • C语言诞生于1972年,它是第一个被广泛使用的编程语言
  • Python语言诞生于1990年,它是最流行最好用的编程语言
阅读全文 »

块大小

HDFS中存储的文件块的块大小,默认128M

参数:dfs.blocksize

默认:134217728

此参数用于客户端程序,也就是说,HDFS里面存储的文件块的块大小完全由客户端决定

阅读全文 »