疲勞檢測在安全駕駛方面是一個很熱門的話題，本質(zhì)上是一個機(jī)器視覺的任務(wù)。本文章將講解疲勞檢測的實現(xiàn)過程，并使用python，opencv、dlib庫來實現(xiàn)疲勞檢測。

首先疲勞檢測的原理其實是通過檢測眼部的眨眼動作來判斷一個人的疲勞狀態(tài)，正常在駕駛的時候眼睛是不會發(fā)生多次數(shù)的閉眼的，當(dāng)人處于疲勞，犯困的時候，眼睛會不自覺的閉上。我們可以通過抓住這一點，利用攝像頭來抓取畫面，來判斷一個人是否是疲勞狀態(tài)。

要判斷眼睛的狀態(tài)，首相我們需要定位找到眼睛的位置。Dlib模塊提供了人臉關(guān)鍵點檢測器，可以幫助我們找到人臉的68個關(guān)鍵點的位置，包括眼睛。

在關(guān)鍵點定位的官方文檔中，提取68個關(guān)鍵點來表示臉上的部位。其中：

第1個點到第17個點：臉頰；

第18個點到第22個點：右邊眉毛；

第23個點到第27個點：左邊眉毛；

第28個點到第36個點：鼻子；

第37個點到第42個點：右眼；

第43個點到第48個點：左眼；

第49個點到第68個點：嘴巴。

如下圖所示：

因此我們需要用到dlib模塊，同時還需要機(jī)器視覺庫opencv和距離計算模塊scipy.spatial（后面會講述到如何應(yīng)用）

1、首先導(dǎo)入相關(guān)的模塊：

from scipy.spatial import distance as dist

import numpy as np

import dlib

import CV2

2、對臉上的部位進(jìn)行定義，把檢測到的關(guān)鍵點按照順序定義好，方便后邊當(dāng)作數(shù)據(jù)的索引調(diào)用

FACIAL_LANDMARKS_68_IDXS = dict([

("mouth", (48, 68)),

("right_eyebrow", (17, 22)),

("left_eyebrow", (22, 27)),

("right_eye", (36, 42)),

("left_eye", (42, 48)),

("nose", (27, 36)),

("jaw", (0, 17))

])

3、定義EAR（eye aspect ratio）計算函數(shù)，dlib模塊只是幫助我們定位眼睛關(guān)鍵店的位置，后續(xù)的計算工作：例如何如判斷眼睛閉眼需要我們通過算法去實現(xiàn)。在論文：Real-Time Eye Blink Detection using Facial Landmarks中，EAR的概念被提出。

在包含著人眼的圖片中畫出六個點，如圖所示：

當(dāng)人眨眼時，這六個點的距離會發(fā)生變化，則可以用這六個點的一些距離關(guān)系來判斷是否有眨眼行為。

定義EAR函數(shù)：

我們可以結(jié)合論文公式和我們檢測到的位置數(shù)據(jù)，定義出計算眼睛的ear值：

def eye_aspect_ratio(eye):

# 計算距離，豎直的

A = dist.euclidean(eye[1], eye[5])

B = dist.euclidean(eye[2], eye[4])

# 計算距離，水平的

C = dist.euclidean(eye[0], eye[3])

# ear值

ear = (A + B) / (2.0 * C)

return ear

4、設(shè)置判斷參數(shù)

如果EAR小于0.3，則判斷為閉眼，如果視頻中有連續(xù)三幀以上都有閉眼，則判斷為眨眼行為。

# 設(shè)置判斷參數(shù)

EYE_AR_THRESH = 0.3 # ear小于0.3判斷為閉眼

EYE_AR_CONSEC_FRAMES = 3 # 連續(xù)三幀ear都小于0.3判斷為眨眼

# 初始化計數(shù)器

COUNTER = 0

TOTAL = 0

5、加載dlib庫中的人臉檢測與關(guān)鍵點定位。進(jìn)行關(guān)鍵點定位之前要先進(jìn)行人臉定位，這里也是用dlib包進(jìn)行檢測，在使用關(guān)鍵點檢測器對檢測到的人臉進(jìn)行關(guān)鍵點檢測。

detector = dlib.get_frontal_face_detector() #人臉檢測

predictor=dlib.shape_predictor('shape_predictor_68_face_landmarks.dat') #關(guān)鍵點檢測

6、分別提取兩個眼睛區(qū)域

(lStart,lEnd)= FACIAL_LANDMARKS_68_IDXS["left_eye"]

(rStart,rEnd)=FACIAL_LANDMARKS_68_IDXS["right_eye"]

8、讀取視頻

vs = CV2.VideoCapture(0)

9、對每一幀圖片進(jìn)行操作，實現(xiàn)功能

· 讀取一幀圖片并做預(yù)處理操作；

· 檢測人臉；

· 獲取人臉上的關(guān)鍵點坐標(biāo)；

· 繪制眼睛區(qū)域；

· 計算左右兩眼的EAR值，取平均值得到總的EAR值；

· 檢查EAR值是否滿足閾值，如果滿足，眨眼次數(shù)加一；

· 將總的眨眼次數(shù)寫在視頻中。

# 遍歷每一幀

while True:

# 預(yù)處理

frame = vs.read()[1]

if frame is None:

break

#按比例縮放圖像尺寸，這個步驟對檢測效果有影響，越大越慢。

(h, w) = frame.shape[:2]

width=1200

r = width / float(w)

dim = (width, int(h * r))

frame=CV2.resize(frame,dim,interpolation=CV2.INTER_AREA)

gray = CV2.cvtColor(frame, CV2.COLOR_BGR2GRAY)

# 檢測人臉 返回的檢測到的人臉位置

rects = detector(gray, 0)

# 接著我們遍歷每一個檢測到的人臉 ，分別對每一張臉做關(guān)鍵點檢測，ears值計算。

for rect in rects:

# 獲取坐標(biāo)

shape = predictor(gray, rect)

shape = shape_to_np(shape)

# 分別計算ear值

leftEye = shape[lStart:lEnd]

rightEye = shape[rStart:rEnd]

leftEAR = eye_aspect_ratio(leftEye)

rightEAR = eye_aspect_ratio(rightEye)

# 算一個平均的

ear = (leftEAR + rightEAR) / 2.0

# 繪制眼睛區(qū)域

leftEyeHull = CV2.convexHull(leftEye)

rightEyeHull = CV2.convexHull(rightEye)

CV2.drawContours(frame, [leftEyeHull], -1, (0, 255, 0), 1)

CV2.drawContours(frame, [rightEyeHull], -1, (0, 255, 0), 1)

# 檢查是否滿足閾值

if ear < EYE_AR_THRESH:

COUNTER += 1

else:

# 如果連續(xù)幾幀都是閉眼的，總數(shù)算一次

if COUNTER >= EYE_AR_CONSEC_FRAMES:

TOTAL += 1

# 重置

COUNTER = 0

# 顯示 把眨眼的次數(shù)顯示在屏幕上

CV2.putText(frame,"Blinks: {}".format(TOTAL), (10, 30),

CV2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)

CV2.putText(frame,"EAR:{:.2f}".format(ear),(300,30),CV2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)

#展示圖像

CV2.imshow("Frame", frame)

key = CV2.waitKey(10) & 0xFF

if key == 27:

break

vs.release()

CV2.destroyAllWindows()