面试助手

idea来源

在很多面试过程中，面试官和应聘者都是保持着严肃而紧张的心态去面对对方。这样会影响应聘者的发挥还有面试官对应聘者的判断也是会有很大差距 。在很多时候，很多公司的人力资源不足，抽不出人手，所以需要一个在线的应用去考核应聘者，这样可以节省很多的人力物力。

借鉴idea

在银行自助机中，会有远程终端柜台，切换界面确认操作者是否是银行卡所属者。

实现思路

1.通过AI分析视频和语音，检测应聘者的面部表情和对方方式，指出应聘者的优缺点并及时反馈给他们

2.通过AI kit的内置camera采集人脸信息，AI人脸识别算法检测应聘者表情，分析应聘者心态

3.用AI kit内置的mic采集面试者话语，通过语音识别算法检测应聘者语言表达，分析应聘者性格特点

4.通过语音识别算法检测应聘者答题内容，分析人的语速以及各种语气词，语气词次数，分析答案的准确度

5.综合上述分析结果，给应聘者的面试过程评分

表情识别分析

人脸表情是情绪状态和心理状态表现出来的一种重要形式。心理学家研究表明，只有7%的信息通过语言来表达，有38%按辅助语言来传达，如节奏、语音、语调等，而占比重最大的是人脸表情——达到总量的55%。

人脸表情识别是指研究一个自动、高效、准确的系统来识别人脸表情的状态，进而通过人脸表情信息了解人的情绪，比如高兴、悲伤、愤怒、恐惧、惊讶、厌恶等。在算法识别中，融合LBP 和局部稀疏表示的人脸表情识别算法最为著名。

人脸特征提取是为了找到人脸最合适的表示方式，从而便于识别。主要有两种方式：整体模版匹配系统和基于几何特征的系统。在整体系统，模板可以是像素点或是向量。在几何特征系统中，广泛采用主成份分析和多层神经网络来获取人脸的低维表示，并在图片中检测到主要的特征点和主要部分。通过特征点的距离和主要部分的相对尺寸得到特征向量。基于特征的方法比基于模板的方法计算量更大，但是对尺度、大小、头部方向、面部位置不敏感。

1.定为特征点

2.通过图像卷积抽取特征点的Gabor小波系数，以Gabor特征的匹配距离作为相似度的度量标准。在特征点：

3.提取特征之后，表情识别就成为了一个传统的分类问题。可以通过多层神经网络来解决：

准则是最小化交叉熵（Cross-entropy）：

t是label，y是实际输出。

由上面可以得到表情分析的原理以及在代码中的实现，在我的demo中是需要获得人脸的微笑沮丧程度，还有眨眼次数，这样分析人物的心理状态

语音识别分析

时间问题，只能采用讯飞语音的sdk去获取数据，通过自己设定的数据库去与应聘者的答案匹配。语义的分析在于应聘者答案与数据库的设定答案相似度，这样的出来的分数能够尽可能的准确。