基于人脸图像解析的智能镜子[实用新型专利]

(12)实用新型专利

(10)授权公告号 CN 2125423 U(45)授权公告日 2021.02.19

(21)申请号 202020659822.1(22)申请日 2020.04.26

(73)专利权人 杨铭轲

地址 510000 广东省广州市越秀区寺右新

马路126号2107房(72)发明人 杨铭轲　

(74)专利代理机构 深圳市明日今典知识产权代

理事务所(普通合伙) 44343

代理人 王杰辉　陈晓霞(51)Int.Cl.

A47G 1/02(2006.01)G06K 9/00(2006.01)G16H 50/30(2018.01)

(ESM)同样的发明创造已同日申请发明专利

权利要求书1页 说明书6页 附图1页

(54)实用新型名称

基于人脸图像解析的智能镜子

(57)摘要

本申请提供了一种基于人脸图像解析的智能镜子，包括镜子本体、拍摄装置和照明装置，拍摄装置和照明装置分别设置在镜子本体上。在用户使用镜子进行梳洗或化妆时，用户脸部正对镜子本体，照明装置发出不同波长的光线照射在用户脸部，完整覆盖用户脸部，拍摄装置获取用户在不同波长的光线单一照射下的脸部图像或单一波长的光线照射下的脸部图像。用户脸部皮肤、化妆品以及皮下血管等特征，在不同波长的光线照射下拍摄得到的图像，会有不同的灰度表现。并且，用户脸部在拍摄时的表情和皮肤情况，也能够表征用户的心理状态。因此，智能镜子通过对各张脸部图像进行相应的解析，能够获取到用户的相关信息，不需要用户进行操作，便于日常使用。

CN 2125423 UCN 2125423 U

权　利　要　求　书

1/1页

1.一种基于人脸图像解析的智能镜子，其特征在于，包括镜子本体、拍摄装置、照明装置和处理器；

所述拍摄装置设置在所述镜子本体上，用于获取用户完整的脸部图像；所述照明装置设置在所述镜子本体上，能够发出不同波长的光线，所述照明装置发出的光线完全覆盖所述用户的脸部；

所述处理器分别与所述拍摄装置和所述照明装置连接，用于控制所述照明装置，以及解析所述拍摄装置获取的所述脸部图像。

2.根据权利要求1所述的基于人脸图像解析的智能镜子，其特征在于，所述照明装置成对设置，各所述照明装置两两左右对称部署在所述镜子本体上。

3.根据权利要求1所述的基于人脸图像解析的智能镜子，其特征在于，所述拍摄装置为照相机或摄像机。

4.根据权利要求1所述的基于人脸图像解析的智能镜子，其特征在于，所述智能镜子还包括显示装置，所述显示装置与所述处理器连接，设置在所述镜子本体上；

所述显示装置用于显示所述处理器的解析结果。

5.根据权利要求4所述的基于人脸图像解析的智能镜子，其特征在于，所述显示装置为OLED屏幕。

6.根据权利要求4所述的基于人脸图像解析的智能镜子，其特征在于，所述智能镜子包括镜框；

所述镜框对所述镜子本体的边沿形成包围；所述显示装置设置在所述镜框顶部的中间区域。

7.根据权利要求1所述的基于人脸图像解析的智能镜子，其特征在于，所述智能镜子还包括通信装置，所述通信装置与所述处理器连接，用于将所述处理器的解析结果发送到预设终端。

8.根据权利要求1所述的基于人脸图像解析的智能镜子，其特征在于，所述智能镜子还包括报警装置，所述报警装置与所述处理器连接，设置在所述镜子本体上；

所述报警装置用于输出报警信息。

2

CN 2125423 U

说　明　书

基于人脸图像解析的智能镜子

1/6页

技术领域

[0001]本申请涉及智能家居技术领域，特别涉及一种基于人脸图像解析的智能镜子。背景技术

[0002]随着社会的快速发展，生活节奏的加快，人体的生理、心理健康越来越得到社会和个体的重视。现有针对人体生理信息的监测，通常是通过针对性的仪器，比如心率监测仪；而针对人体心理信息的评估，通常是采用量表测试的方式。因此，如果需要同时监测人体的各种生理信息和心理信息，需要多种设备进行辅助，或者到专业的场所进行，十分繁琐，不便于人们日常使用。

实用新型内容

[0003]本申请的主要目的为提供一种基于人脸图像解析的智能镜子，旨在解决现有监测人体生理、心理信息的设备操作繁琐、不便于日常使用的弊端。[0004]为实现上述目的，本申请提供了一种基于人脸图像解析的智能镜子，包括镜子本体、拍摄装置、照明装置和处理器；

[0005]所述拍摄装置设置在所述镜子本体上，用于获取用户完整的脸部图像；[0006]所述照明装置设置在所述镜子本体上，能够发出不同波长的光线，所述照明装置发出的光线完全覆盖所述用户的脸部；

[0007]所述处理器分别与所述拍摄装置和所述照明装置连接，用于控制所述照明装置，以及解析所述拍摄装置获取的所述脸部图像。[0008]进一步的，所述照明装置成对设置，各所述照明装置两两左右对称部署在所述镜子本体上。

[0009]进一步的，所述拍摄装置为照相机或摄像机。[0010]进一步的，所述智能镜子还包括显示装置，所述显示装置与所述处理器连接，设置在所述镜子本体上；

[0011]所述显示装置用于显示所述处理器的解析结果。[0012]进一步的，所述显示装置为OLED屏幕。[0013]进一步的，所述智能镜子包括镜框；

[0014]所述镜框对所述镜子本体的边沿形成包围；[0015]所述显示装置设置在所述镜框顶部的中间区域。[0016]进一步的，所述智能镜子还包括通信装置，所述通信装置与所述处理器连接，用于将所述处理器的解析结果发送到预设终端。[0017]进一步的，所述智能镜子还包括报警装置，所述报警装置与所述处理器连接，设置在所述镜子本体上；

[0018]所述报警装置用于输出报警信息。

[0019]本申请中提供的一种基于人脸图像解析的智能镜子，包括镜子本体、拍摄装置和

3

CN 2125423 U

说　明　书

2/6页

照明装置，拍摄装置和照明装置分别设置在镜子本体上。在用户使用镜子进行梳洗或化妆时，用户脸部正对镜子本体，照明装置发出不同波长的光线照射在用户脸部，完整覆盖用户脸部，拍摄装置获取用户在不同波长的光线单一照射下的脸部图像或单一波长的光线照射下的脸部图像。用户脸部皮肤、化妆品以及皮下血管等特征，在不同波长的光线照射下拍摄得到的图像，会有不同的灰度表现。并且，用户脸部在拍摄时的表情和皮肤情况，也能够表征用户的心理状态。因此，智能镜子通过对各张脸部图像进行相应的解析，能够获取到用户的相关信息，比如用户的生理信息、心理信息以及妆容信息，不需要用户进行操作，便于日常使用。

附图说明

[0020]图1是本申请一实施例中基于人脸图像解析的智能镜子的整体结构图。[0021]本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式

[0022]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。[0023]参照图1，本申请一实施例中提供了一种基于人脸图像解析的智能镜子，包括镜子本体1、拍摄装置2、照明装置3和处理器4；

[0024]所述拍摄装置2设置在所述镜子本体1上，用于获取用户完整的脸部图像；[0025]所述照明装置3设置在所述镜子本体1上，能够发出不同波长的光线，所述照明装置3发出的光线完全覆盖所述用户的脸部；

[0026]所述处理器4分别与所述拍摄装置2和所述照明装置3连接，用于控制所述照明装置3，以及解析所述拍摄装置2获取的所述脸部图像。[0027]优选的，所述拍摄装置2为照相机或摄像机。[0028]本实施例中，智能镜子包括镜子本体1、拍摄装置2、照明装置3和处理器4。其中，拍摄装置2和照明装置3均设置在镜子本体1上，用户在使用镜子本体1进行梳洗或化妆时，用户的脸部会正面朝向镜子本体1。在此过程中，照明装置3会发出不同波长的光线照射在用户脸部，光线会完全覆盖用户的脸部。而拍摄装置2则对光线照射下的用户脸部进行拍摄，从而得到用户在不同波长的光线单一照射下的脸部图像或单一波长的光线照射下的脸部图像。优选的，拍摄装置2可以是照相机或摄像机。处理器4可以设置在镜子本体1上，也可以设置在其他地方。处理器4分别与拍摄装置2、照明装置3连接，可以是电性连接，也可以是信号连接。处理器4可以根据设定控制照明装置3发出不同波长的光线，以及各种不同波长的光线的照射时间。并且，处理器4会接收拍摄装置2所获取的用户的脸部图像，然后对脸部图像进行相应的解析，从而得到用户的生理信息、心理信息或妆容信息。具体地，处理器4通过拍摄装置2，比如摄像头，获取用户分别在不同波长的光线单一照射下拍摄得到的脸部图像，或用户脸部在单一波长的光线照射下拍摄得到的脸部图像，该脸部图像可以是照片或者视频。其中，照明装置3可以为一个或多个，能够变换输出不同波长的光线，比如红光、红外光等。照明装置3所发出的光线需要完全覆盖用户的脸部，使得拍摄装置2拍摄得到的用

4

CN 2125423 U

说　明　书

3/6页

户的脸部图像整体是处于相同波长的光线照射下，具有相同的比对基准，从而避免同一脸部图像上不同区域所对应的可将光波长不同，导致后续针对脸部图像的灰度识别出现误差，获得的用户信息准确度下降。处理器4在获得脸部图像后，需要将各脸部图像与对应波长的光线建立对应关系，比如脸部图像A是在绿光的照射下拍摄得到，则将脸部图像A与绿光建立对应关系。便于后续处理器4在对各脸部图像进行解析时，根据需要获取的用户信息的类型调取对应的解析规则，不同的解析规则针对不同波长得到的脸部图像进行相应的解析，从而评估得到不同类型的用户信息。[0029]优选的，本实施例的方法可以对用户进行单次评估，也可以对用户进行长期跟踪评估。具体地，在单次评估中，处理器4通过单独或综合解析拍摄装置2分别在不同波长的光线单一照射下拍摄得到的脸部图像，或用户脸部在单一波长的光线照射下拍摄得到的脸部图像，可以得到用户的生理信息和妆容信息。比如，光线包括紫外光和红光，其中拍摄装置2在紫外光照射环境下拍摄得到的用户脸部图像为第一脸部图像，在红光照射环境下拍摄得到的用户脸部图像为第二脸部图像。处理器4在获得第一脸部图像和第二脸部图像后，会将第一脸部图像与紫外光进行关联，第二脸部图像与红光进行关联，以便后续可以根据光线的不同波长对应分析用户的脸部图像。处理器4分别对第一脸部图像和第二脸部图像进行灰度分析，第一脸部图像用户脸部在紫外光照射下所拍摄得到的图像，脸部皮肤被遮挡的区域和黑斑区域所对应的灰度较大大，直观上即脸部皮肤被遮挡区域和黑斑区域会呈现为黑色。而红光照射下所拍摄到的第二脸部图像，只能呈现用户表面皮肤的色彩，无法呈现出皮肤上的黑斑。因此，处理器4以第二脸部图像为基准，将第一脸部图像与第二脸部图像进行灰度比对，在用户脸部图像的相同区域，如果第一脸部图像上具有灰度较大的斑点区域，则处理器4可将斑点区域评估为黑斑，以此识别出用户脸部的黑斑数量，进而评估出用户脸部的皮肤状况。同样的，在用户脸部图像的相同区域，如果第一脸部图像上具有灰度较大的连续的区域，比如块状区域，则有可能用户在这个连续区域涂抹了防晒霜等护肤品，以此识别出用户脸部的化妆区域，进而评估得到用户的妆容信息。[0030]在另一实施例中，照明装置3所发出的单一波长的光线为绿光，处理器4在通过拍摄装置2获取用户图像的过程中，需要实现连续拍摄。如果拍摄装置2是照相机，则拍摄装置2需要进行快速拍摄，获得多张用户脸部图像，以实现对用户脸部的连续拍摄。如果拍摄装置2为摄像机，则可以直接在绿光照射下连续拍摄用户脸部图像，后续处理器4在对用户脸部图像进行灰度识别时，可以将用户脸部图像的视频拆分为单独的一帧，并按照拍摄时间的顺序进行分析。具体地，拍摄装置2按照第一预设时间间隔，分别获取用户在绿光照射下的多张第三脸部图像，比如拍摄每隔0.1秒拍摄一张第三脸部图像，则第一预设时间间隔为0.1S。在得到第三脸部图像后，处理器4将第三脸部图像与绿光进行对应关联。用户心跳时，脸部皮肤对绿光会有不同强度的反射。处理器4通过对连续的多张第三脸部图像进行灰度识别，可以得到各第三脸部图像的灰度变化频率(图像灰度值与反射光强度负相关，反射光强度大则图像灰度值小，反之亦然)。处理器4所分析得到的灰度变化频率实际上就是用户的心跳频率，比如第三脸部图像的灰度每1秒变化一次，即灰度变化频率为1秒一次，对应的，用户的心跳频率即为1秒一次，心率则为60次/min。因此，处理器4可以根据灰度变化频率直接得到用户的心率信息。[0031]进一步的，在另一实施例中，照明装置3发出的不同波长的光线为红光和红外光，

5

CN 2125423 U

说　明　书

4/6页

优选的，红光的频段为660nm，红外光的频段为880nm。照明装置3在发出红光和红外光时，需要按照预设频率交替发出红光和红外光照射用户脸部。而在照明装置3发出光线的同时，拍摄装置2按照红光和红外光变换的预设频率对用户脸部进行拍摄，从而得到每次红光照射下的用户的第二脸部图像，以及每次红外光照射下的用户的第四脸部图像。处理器4在得到第二脸部图像时，将第二脸部图像与红光建立对应关系；在获得第四脸部图像时，将第四脸部图像与红外光建立对应关系，以免在后续对用户进行血氧饱和度评估时，将不同波长的光线与对应的用户脸部图像混淆。[0032]进一步的，在另一实施例中，处理器4根据现有技术中对人体血氧饱和度的检测原理，对第二图像和第四图像进行相应的分析，从而评估得到用户的血氧饱和度。人体血液中包括氧合血红蛋白和血红蛋白，其中，氧合血红蛋白对660nm红光吸收量较少，对880nm红外光吸收量较多；而血红蛋白则对660nm红光吸收量较多，对880nm红外光吸收量较少。现有技术中，检测仪通过分光光度法测定红外光吸收量与红光吸收量之比值，就能确定血红蛋白的氧合程度，，从而得到人体的血氧饱和度。而根据上述可知，光线的吸收量大，则对应的反射光强度低，即对应的图像的灰度值较大。因此，处理器4分别对第二图像和第四图像进行分析，从而得到第二图像对应的灰度值：第一灰度，以及第四图像对应的灰度值：第二灰度。处理器4根据第一灰度和第二灰度之间的比率，相当于确定红外光吸收量与红光吸收量之比值，从而评估得到用户的血氧饱和度。[0033]进一步的，在另一实施例中，处理器4对单张脸部图像进行灰度识别，将用户左脸部涂覆有粉底的区域定义为第一分布区域，用户右脸部涂覆有粉底的区域定义为第二分布区域。然后分别将第一分布区域和第二分布区域进行灰度比对，评估第一分布区域和第二分布区域的对称程度，比如对称区域的灰度值是否相同，从而判断粉底涂覆是否均匀；或者第一分布区域和第二分布区域整体的外轮廓是否对称，从而判断粉底在脸部的涂覆是否完整，以此评估得到用户的妆容信息。进一步的，处理器4还可以通过将用户化妆后的脸部图像和用户素颜时的脸部图像进行灰度比对，从而识别出用户化妆后是否完整的将黑斑等皮肤缺陷掩盖，从而得到用户进一步的妆容信息。[0034]优选的，在另一实施例中，智能镜子对用户建立长期评估。在长期跟踪评估中，处理器4通过人脸识别技术识别用户身份，并为用户建立档案管理。优选的，针对用户进行长期跟踪评估的实施例中，照明装置3和拍摄装置2设置在用户会规律性出现的位置，比如洗手间的镜子、梳妆台的镜子，用户在每天起床后基本会来到洗手间对着镜子进行梳洗，从而能够保证在每天的同一时间段内获取到用户的脸部图像。具体地，当照明装置3和拍摄装置2安装在洗手间的镜子上时，用户每天早上洗漱的时候会在镜子前进行仪容整理，此时照明装置3输出光线，使得用户脸部的光线分布均匀，然后通过拍摄装置2获得用户的脸部图像。处理器4可以使用图像识别技术从用户的脸部图像上识别出脸部褶皱的分布情况，然后按照每天一次的拍摄频率，按照拍摄顺序对用户的脸部褶皱的分布情况的变化，可以分析出用户的成长变化以及精神变化。用户在心理压力大、精神不好时，会使脸部褶皱的增长趋势变大，处理器4内部设置有增长趋势的阈值，在用户脸部褶皱的增长趋势大于阈值时，可以推断出用户在这段时间内的心理压力比较大，从而获得用户的心理信息。[0035]优选的，所述镜子本体1安装在卫生间或化妆间。[0036]本实施例中，镜子本体1安装在卫生间或化妆间。用户在早上起床后，通常会正面

6

CN 2125423 U

说　明　书

5/6页

朝向卫生间的镜子进行梳洗，或者正面朝向化妆间的镜子进行化妆。因此，将镜子本体1设置在卫生间或化妆间内，一方面能够规律性的得到用户的脸部图像(用户每天起床梳洗的时间变化不会太大)，处理器4针对每天相同时间段内的用户的脸部图像进行相应的解析，从而得到的用户的心理信息、生理信息或妆容信息，具有较高的准确度。另一方面，用户起床后梳洗时是用户身体最初始的状态，此时获得的用户的脸部图像，对应解析后得到的用户的生理信息或心理信息，受到的外界因素的影响比较小(比如在用户在工作一天后获得的脸部图像，所解析得到的用户的生理信息或信息信息会大概率受到用户工作的影响)，准确度较高。

[0037]进一步的，所述照明装置3成对设置，各所述照明装置3两两左右对称部署在所述镜子本体1上。[0038]优选的，所述镜子本体1的外轮廓为矩形。[0039]本实施例中，照明装置3成对设置，即照明装置3至少为一对。其中，各个照明装置3两两之间，左右对称部署在镜子本体1上。照明装置3左右对称设置，一方面能够保证发出的光线完全覆盖用户脸部，另一方面，能够保证用户左右脸部的光线分布对称、均匀，提高后续处理器4对获得的脸部图像的解析准确度。优选的，镜子本体1的外轮廓为矩形，方便成对的照明装置3安装时的定位，成对的照明装置3左右对称安装在镜子本体1的顶角处，能够获得较好的照射效果。[0040]进一步的，所述智能镜子还包括显示装置5，所述显示装置5与所述处理器4连接，设置在所述镜子本体1上；

[0041]所述显示装置5用于显示所述处理器4的解析结果。[0042]优选的，所述显示装置5为OLED屏幕。[0043]本实施例中，智能镜子还包括显示装置5，显示装置5与处理器4连接，设置在镜子本体1上。处理器4在对脸部图像进行解析后，可以得到用户的生理信息、信息信息或妆容信息(比如对用户的妆容进行打分)，然后将这些用户的信息通过显示装置5进行显示，从而使得用户可以直观的得到自身的相关信息。优选的，显示装置5为OLED屏幕，整体重量小，便于安装在镜子本体1上。[0044]进一步的，所述智能镜子包括镜框6；

[0045]所述镜框6对所述镜子本体1的边沿形成包围；[0046]所述显示装置5设置在所述镜框6顶部的中间区域。[0047]本实施例中，智能镜子包括镜框6，镜框6对镜子本体1的边沿形成包围，能够对镜子本体1起到保护的作用。显示装置5设置在镜框6顶部的中间区域，方便用户观看到显示装置5上的信息，提高显示装置5传递信息的效果。[0048]进一步的，所述智能镜子还包括通信装置，所述通信装置与所述处理器4连接，用于将所述处理器4的解析结果发送到预设终端。[0049]本实施例中，智能镜子还包括通信装置，通信装置与处理器4连接，处理器4对用户的脸部图像进行相应的解析后，得到用户的生理信息、心理信息或妆容信息。处理器4通过通信装置，将用户的理信息、心理信息或妆容信息发送到预设终端，比如用户的手机，或者云端，进行备份记录。其中，通信装置通过wifi信号、蓝牙信号等无线信号进行数据传输。[0050]进一步的，所述智能镜子还包括报警装置7，所述报警装置7与所述处理器4连接，

7

CN 2125423 U

说　明　书

6/6页

设置在所述镜子本体1上；

[0051]所报警装置7用于输出报警信息。[0052]优选的，所述报警装置为报警铃或报警灯。[0053]优选的，智能镜子还包括报警装置7，该报警装置7可以是报警灯(报警灯通过闪烁表示警示)或报警铃(报警铃通过发出铃声表示警示)。报警装置7设置在镜子本体1上，与处理器4连接。处理器4内部数据库中设置有阈值，在解析得到用户的生理信息或心理信息，会将用户的生理信息或心理信息与设置的阈值进行对比(比如将用户当前的心率与预设的心率阈值进行比对)，从而对用户的生理信息或心理信息进行评估。如果处理器4评估得到用户的生理或心理健康状况不佳(比如用户当前的心率超过预设的心率阈值)，处理器4则控制报警装置7输出报警信息，从而警示用户。

[0054]本实施例提供的一种基于人脸图像解析的智能镜子，包括镜子本体1、拍摄装置2和照明装置3，拍摄装置2和照明装置3分别设置在镜子本体1上。在用户使用镜子进行梳洗或化妆时，用户脸部正对镜子本体1，照明装置3发出不同波长的光线照射在用户脸部，完整覆盖用户脸部，拍摄装置2获取用户在不同波长的光线单一照射下的脸部图像或单一波长的光线照射下的脸部图像。用户脸部皮肤、化妆品以及皮下血管等特征，在不同波长的光线照射下拍摄得到的图像，会有不同的灰度表现。并且，用户脸部在拍摄时的表情和皮肤情况，也能够表征用户的心理状态。因此，智能镜子通过对各张脸部图像进行相应的解析，能够获取到用户的相关信息，比如用户的生理信息、心理信息以及妆容信息，不需要用户进行操作，便于日常使用。[0055]需要说明的是，在本文中，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。[0056]以上所述仅为本申请的优选实施例，并非因此本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本申请的专利保护范围内。

8

CN 2125423 U

说　明　书　附　图

1/1页

图1

9