在進行數據分析的時候除了有缺失值之外，還可能遇到異常值和重復值。

#### 異常值

異常值：

> 偏離正常范圍的值，不是錯誤值。
> 出現的頻率很低，但是會對數據分析造成偏差

常采用蓋帽法或者數據離散化進行處理

**1、異常值的判斷**

也叫n個標準差法，**均值±n個標準差內的數據叫做正常值**，一般為2-3個標準差

計算均值和標準差

```
import numpy as np
import pandas as pd

data = pd.read_excel('university.xlsx')
jz = data['報名人數'].mean()
print(jz)
bzc = data['報名人數'].std()
print(bzc)
```

結果：

> ```
> 1525.2222222222222
> 4975.899109579891
> ```

搭配any()，查看是否有超過上下限的數據，這種數據為異常值

```
top = data['報名人數'].mean() + 2 * data['報名人數'].std()
bottom = data['報名人數'].mean() - 2 * data['報名人數'].std()
```

結果：

> ```
> 11477.020441382005
> -8426.57599693756
> ```

是否有超過下限的情況

```
any(data.報名人數 < bottom) # 結果：False
```

是否有超過上限的情況

```
any(data.報名人數 > top) # 結果： True
```

查看【報名人數】為正常值的數據

```
data[data['報名人數'].between(bottom,top)]
```

可以看出少了索引為4和12的數據，該數據報名人數分別為17388和20000，超出上限11477.020441382005

也可以畫個直方圖看一下數據的分布情況，感受一下：

```
data.報名人數.plot(kind ='hist')
```

**箱線法**

> 上四分位數：取3/4位置的數
> 下四分位數：取1/4位置的數
> 分位差 = 上四分位數- 下四分位數
>
> 上界 = 上四分位數 + 1.5*分位差
> 下界= 下四分位數 - 1.5*分位差

**上界 、下界范圍之內的數據叫做正常值，范圍之外的叫做異常值。**

```
# 下四分位數
Q1 = data.報名人數.quantile(0.25)
print(Q1)
# 上四分位數
Q3 =data.報名人數.quantile(0.75)
print(Q3)
# 分位差
IQR = Q3 - Q1
print(IQR)
# 上界
print(Q3 + 1.5 * IQR)
# 下界
print(Q1 - 1.5 * IQR)
# 是否有超出上界的數據
print(any(data.報名人數 > Q3 + 1.5 * IQR))
# 是否有低于下界的數據
print(any(data.報名人數 < Q1 - 1.5 * IQR))
```

結果：

> ```
> 134.5
> 206.5
> 72.0
> 314.5
> 26.5
> True
> True
> ```

箱線圖看一下：

```
data.報名人數.plot(kind = 'box')
```

說明有超出上限和下限的值

**2、異常值的處理**

方法一：

> 用小于上限最大值去替換超出上限的異常值
> 用大于下限最小值去替換低于下限的異常值

數據準備：
（新增一列【new_報名人數】數據，是為了替換異常值后做對比）

```
data['new_報名人數'] = data['報名人數']
```

計算小于上限的最大值，作為替換值

```
# 計算小于上限的最大值，作為替換值
UL = Q3 + 1.5 * IQR
# 低于上限的最大值
replace_value = data.new_報名人數[data.new_報名人數 < UL].max()
# 用替換值替換超出上限的數據：
data.loc[data.new_報名人數>UL,'new_報名人數'] = replace_value
data
```

最終：

方法二：

> 低于百分之一分位數的數據用百分之一分位數替換
> 高于百分之九十九分位數的數據用百分之九十九分位數替換

計算百分之一分位數、百分之九十九分位數

```
# 百分之一分位數
P1=data.new_報名人數.quantile(0.01)

# 百分之九十九分位數
P99=data.new_報名人數.quantile(0.99)

```

進行替換

```
data.loc[data['new_報名人數']>P99,'new_報名人數'] = P99

data.loc[data['new_報名人數']<P1,'new_報名人數'] = P1
```

#### 重復值

一般保留第一條重復數據，對其他重復數據進行移除。

> `判斷重復值 df.duplicated`
>
> df.duplicated(subset=None, keep='first')
>
> 參數說明：
> subset：列標簽，默認使用所有列，若只考慮用某些列來識別重復項，可指定列
> keep，默認first,保留重復值的第一項，也可以指定last,保留最后一項重復值數據
>
> 返回的是一個視圖

```
data.duplicated()
```

True為重復數據

取出重復值

```
data[data.duplicated()]
```

結果：

按照指定列判斷重復數據

```
data[data.duplicated(subset=['學院','報名人數'])]
```

**`刪除重復數據 df.drop_duplicates`**

一般有重復數據后可以刪除

> df.drop_duplicates(subset=None, keep='first', inplace=False)
>
> subset：默認全部列，可以指定特定列來判斷重復數據
> keep：保留重復數據的第一條數據
> inplace：是否就地操作，默認False,返回一個視圖
> True,就地操作，直接在原數組數據上刪除重復值

```
data.drop_duplicates(inplace=True)
data
```

刪除后無重復數據。