?? 赛尔号祖拉的兄弟:CDA level I 數據分析基礎 - 祖拉的世界|上古卷轴阿祖拉被口爆

CDA level I 數據分析基礎

CDA level I考試大綱 Part1 數據分析概念與統計學基礎 占考試比例的30%;

共分5個知識方向,考試占比分布如下:數據分析概念,方法論 流程 5% 描述性統計分析 12% 推斷性統計分析8% 方差分析2% 一元線性回歸分析3%;

第1個知識方向的筆記,數據分析概念,方法論 流程,再考試題目中出題概率占5%;

一、數據分析概念

目標:以數據為分析對象,以探索數據內的有用信息為主要途徑,以解決業務需求為最終目標而建立的一整套分析流程

流程:業務理解,數據采集,數據清洗,數據探索,數據可視化,數據建模,模型結果可視化,分析結果的業務應用;

目的:是為業務發展答疑解惑;

分析層次:描述了 過去發生了什么,現在正在發生什么以及未來可能發生什么。

分析級別:常規報表,即席查詢,多維分析,警報;描述階段 統計分析,預報(時間序列預測),預測型模型(預測性 prdictive模型),優化;挖掘階段

數據挖掘(Data mining)是一個跨學科的計算機科學分支,是用人工智能,機器學習,統計學和數據庫的交叉方法在相對較大型的數據集中發現模式的計算過程。

大數據對傳統小數據分析的拓展及區別聯系: 數據上:小數據重抽樣,大數據重全體;

方法上:小數據重實證,大數據重優化;

目標上:小數據重解釋,大數據重預測;

數據分析目標的意義過程及本質: 數據分析涉及到公司運營的方方面面;重頭戲是客戶和市場。

二、數據分析的方法論:

CRISP-DM:將數據挖掘項目生命周期分為6個階段

業務理解(Business understanding)

數據理解(Data Understanding)

數據準備(Data preparation)

建模(modeling)

模型評估(evaluation)

模型發布(deployment)

SEMMA:SAS公司根據CRISP-DM進行了拓展,將數據分析分為了5個步驟:

數據整理(sample)構造分析用的到的數據,將散落在內部和外部的數據進行整合。

樣本探索(explore)對數據質量進行探索。變量質量:錯誤值,恰當性,缺失值,一致性,平穩性,重復值,及時性)變量錯誤時 是否可以修改,是否可以使用的問題

變量修改(modify)數據質量問題的修改涉及:改正錯誤編碼,缺失值填補,單位統一等操作,變量分布情況的修改涉及:函數轉換和標準化方法。

建模(model)選取合適的模型

模型檢驗(assess)模型樣本內驗證

三、數據分析師在業務流程中的作用角色和職責:

數據分析師在業務與數據間起到協調的作用,是業務問題能否成功轉換成統計問題的關鍵。協調者,數據分析師,報告人的角色決定了數據分析師是一名綜合性人才。

第2個知識方向 描述性統計分析 ,再考試中題型分布占12%

大綱要求熟知領會知識點:衡量數據集中趨勢,離中趨勢和數據分布的常用指標及計算方法;統計圖形的繪制 元素調整,可視化效果---條形圖,線圖,直方圖,盒須圖,散點圖,氣泡圖,馬賽克圖,玫瑰圖 明確統計圖形對統計指標表達上的對應關系。

一、數據的計量尺度:

計量分類:名義測量:(nominal measurement)最低的測量等級,這類變量一般不做高低大小區分,數值僅代表某些分類和屬性。

次序測量:(ordinal measurement)量化水平高于名義測量,數值代表了一些有序分類,具有一定的順序性

連續變量測量(間距測量):(interval measurement)量化程度更高一些。取值不再是類的編碼,采用了一定單位的實際測量值??山屑蛹踉慫?。不能乘除。0值不是物理上的絕對0;

連續變量測量(比例測量):(ratio measurement)最高級的測量等級,具有間距測量額所有性質,且0值有物理上的絕對意義,可以進行加減乘除。

變量分類:分類變量:通??梢約觳楸淞康?眾數,分類取值的百分比間的差別大小,有無太小的比例(異常值)

頻次:每個水平出現的次數

百分比:每個水平出現的頻數/總數

累積頻次與累積百分比:僅對于次序變量有意義,分別計算累積頻次和百分比

順序變量:眾數,頻次,百分比,累積頻次與百分比,四分位差

連續變量:中心水平,離散程度,偏度和峰度

以上變量順序量化水平是由低到高的,低水平變量統計量可以用于高水平,但高水平統計量不一定能用于低水平。

二、中心水平:

統計量:均值,中位數和眾數;

眾數:出現次數最多的變量值??贍苊揮謝蛘哂屑父鮒謔?。

中位數:排序后處于中間位置的值,一定要先排序,一般用M表示

均值(四分位數):定義方式類似于中位數,中位數 百分之50對應的數值。Q1稱為下四分位數,Q3稱為上四分位數,Q2稱為中位數。

均值(算數平均數):樣本平均數:X拔=樣本之和除以樣本數量n 總體平均數:μ=總體數據之和除以總體數量N

均值(加權平均數):樣本加權平均數:x拔=樣本乘以權重后的加和除以權重之和=樣本乘以權重后的加和除以樣本數量n 總體加權平均數:μ=樣本乘以權重后加和除以權重之和=樣本乘以權重后的加和除以整體數量N

均值(幾何平均數):適用于計算比率數據的平均,主要用于計算平均增長率。G=所有數據乘積后開n次方;

眾數和中位數不易受到極端值得影響,平均數易受到極端值得影響。

眾數和中位數適合在非對稱情況下使用,眾數不是唯一的。

三、離散程度:

當知道一個變量的中心水平后,還想知道這個指標到底有多大的代表性。 如果變量變化范圍特別小,甚至是常數,這個水平變量就非常有代表意義。

離散程度度量指標:異眾比率:非眾數組的頻數占總頻數的比例;r=1-(眾數頻數/總體頻數)主要用于測量分類變量的離散程度。

極差:最大值減去最小值

四分位差:上分位數減去下分位數;Q3-Q1=IQR

方差:總體方差:σ方=(樣本值-總體平均數μ)的平方之和除以總體數量N;

樣本方差:S方=(樣本值-樣本平均數X拔)的平方之和除以(樣本數量n-1);

標準差:總體標準差 σ=總體方差σ方開平方;

樣本標準差S=樣本方差S方開平方;

方差在統計學中也稱二階中心距,實際是每個取值到均值之間的距離均值。標準差是描述分析中使用最多的。

零階矩表示這些點的 總概率(也就是1);

一階矩表示 期望;

二階(中心)矩表示 方差;

三階(中心)矩表示 偏斜度;

四階(中心)矩表示 峰度

偏度:用戶刻畫偏態的程度(統計數據峰值與平均值不相等的頻率分布)。

偏態有兩種情況: 左偏,變量在負的方向有嚴重拖尾,從小到大排序如下:mean(平均數)median(中位數)mode(眾數)

右偏,在正的方向有嚴重拖尾。從小到大排序如下:mode(眾數)median(中位數)mean(平均數)

峰度:變量向兩邊拖尾的情況。相比正態分布,變量是尖峰的, 超過2倍標準差數值的概論會大于5%;超過3倍標準差數值的概論會大于1%;表明出現較大偏離值的可能性提高了。

正態分布 峰度系數=3,厚尾(峰度值>3)尖峰,瘦尾(峰度值<3)平頂

四、統計圖形繪制,圖形元素調整 可視化效果與應用

條形圖: 很好的展現變量分布情況。但是連續變量不可能做出條形圖。

盒須圖: 箱線圖,提供了中位數,均值,上下分位點的信息??梢粵私獗淞康鬧行乃?,也可以了解變量的變化范圍。 內限:最大值和最小值;最大值為 上分位點加上1.5倍的內分位距(IQR)最小值 下分位點-1.5倍的內分位距 超過1.5倍的內分位距的取值稱為異常值,或離群值。 IQR=Q3-Q1;

玫瑰圖: 南丁格爾玫瑰圖。 它可以用轉角,扇形面積,以及顏色展現數據的不同維度。

免責聲明:本文僅代表文章作者的個人觀點,與本站無關。其原創性、真實性以及文中陳述文字和內容未經本站證實,對本文以及其中全部或者部分內容文字的真實性、完整性和原創性本站不作任何保證或承諾,請讀者僅作參考,并自行核實相關內容。

//www.bygkuu.com.cn/style/images/nopic.gif
我要收藏
贊一個
踩一下
分享到
相關推薦
精選文章
?
分享
評論
祖拉的世界