输入关键词,如黄金提取,余热利用,硝化废酸回收等后点击搜索进行检索技术资料
本专利针对直播中因卡顿导致的观看体验差及用户流失问题,提出通过动态合成视频/音频流替换卡顿内容的解决方案。方法包括检测卡顿、分析状态信息、生成目标数据流并加载至客户端,利用合成内容补齐丢帧,消除画面不连贯感,从而提升观看体验。
1.本技术涉及人工智能技术领域,尤其是涉及到一种直播卡顿的处理方法、装置、电子设备及存储介质。
2.人工智能(artificial intelligence),英文缩写为ai。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器,该领域的研究包括规则学习、语音识别、图像识别、深度学习和智能系统等。
3.随着视频直播行业的发展的越来越快,直播暴露的问题也就原来越多。由于智能系统中涉及视频直播间的交互用户众多,以及各种复杂场景下主播和用户对于订单、商品、用户、主播需求。当在系统的直播平台观看直播时,遇到弱网情况时会发生较长时间的卡顿情况,当网络恢复时,直播内容会直接跳到当下主播直播的进度,这就造成了直播内容的丢失。
4.相关技术中,通常采用两种解决方案:(1)直播卡顿后视频接黑屏或视频掉帧,对用户的体验来说非常的不好。(2)黑屏的这个时段内,使用一段广告或静止的图片代替,造成观看者观感不佳的问题,进而导致观看者流失。
6.有鉴于此,本技术提供了一种直播卡顿的处理方法、装置、电子设备及存储介质,以解决在直播卡顿时采用黑屏或静态图片替换导致的用户观感不佳的问题。
8.若检测到客户端播放的直播数据流出现卡顿,确定直播数据流的卡顿状态信息,其中,卡顿状态信息包括视频卡顿状态和/或音频卡顿状态;
10.将目标数据流加载至客户端,以供客户端将目标数据流代替直播数据流进行播放。
12.在播放直播数据流的过程中,接收服务端发送的目标数据流,其中,目标数据流根据直播数据流的卡顿状态信息生成;
15.确定模块,用于若检测到客户端播放的直播数据流出现卡顿,确定直播数据流的卡顿状态信息,其中,卡顿状态信息包括视频卡顿状态和/或音频卡顿状态;
16.处理模块,用于根据卡顿状态信息,对直播数据流进行处理生成目标数据流;
17.通信模块,用于将目标数据流加载至客户端,以供客户端将目标数据流代替直播数据流进行播放。
19.通信模块,用于在播放直播数据流的过程中,接收服务端发送的目标数据流,其中,目标数据流根据直播数据流的卡顿状态信息生成;
21.第五方面,提供了一种电子设备,包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述基于人工智能的直播卡顿的处理方法的步骤。
22.第六方面,提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被处理器执行时实现上述基于人工智能的直播卡顿的处理方法的步骤。
23.上述基于人工智能的直播卡顿的处理方法、装置、电子设备及存储介质所实现的方案中,当服务端检测到客户端播放的直播数据流出现卡顿问题时,分析直播数据流的卡顿状态信息。再通过与卡顿状态信息匹配的处理策略对直播数据流进行处理,以合成用于替换原直播数据流的音视频数据流(目标数据流)。服务端将目标数据流加载至客户端,由此,客户端可利用目标数据流代替卡顿时的直播数据流进行播放。从而利用动态的合成视频音频流去替换卡顿期间的直播视频,以补齐卡顿丢帧,使得观看者不会有不连贯的感觉,进而降低观看者对直播卡顿的感知,有效提升直播者和观看者的观看体验,解决了因卡顿导致的用户流失的问题。
24.上述说明仅是本技术技术方案的概述,为了能够更清楚了解本技术的技术手段,而可依照说明书的内容予以实施,并且为了让本技术的上述和其它目的、特征和优点能够更明显易懂,以下特举本技术的具体实施方式。
25.为了更清楚地说明本技术实施例的技术方案,下面将对本技术实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
26.图1是本技术中基于人工智能的直播卡顿的处理方法的流程示意图之一;
27.图2是本技术中基于人工智能的直播卡顿的处理方法的流程示意图之二;
28.图3是本技术中基于人工智能的直播卡顿的处理方法的流程示意图之三;
29.图4是本技术中基于人工智能的直播卡顿的处理方法的流程示意图之四;
30.图5是本技术中基于人工智能的直播卡顿的处理方法的一应用环境示意图;
31.图6是本技术中基于人工智能的直播卡顿的处理装置的结构示意图之一;
32.图7是本技术中基于人工智能的直播卡顿的处理装置的结构示意图之二。
33.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完
整地描述,显然,所描述的实施例是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
34.应当理解,本发明实施例提供一种基于人工智能的直播卡顿的处理方法。所述直播卡顿的处理方法的执行主体包括但不限于服务端、客户端等能够被配置为执行本技术实施例提供的该方法的电子设备中的至少一种。换言之,所述直播卡顿的处理方法可以由安装在客户端设备或服务端设备的软件或硬件来执行,所述软件可以是区块链平台。所述服务端包括但不限于:单台服务器、服务器集群、云端服务器或云端服务器集群等,服务器可以是独立的服务器,也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(content delivery network,cdn)、以及大数据和人工智能平台等基础云计算服务的云服务器。
35.请参阅图1所示,图1为本技术实施例提供的适用于服务端的基于人工智能的直播卡顿的处理方法的一个流程示意图,包括如下步骤:
36.s11:若检测到客户端播放的直播数据流出现卡顿,确定直播数据流的卡顿状态信息;
37.其中,直播数据流包括视频流和音频流。而且考虑到不同卡顿形式造成的不同观感,将卡顿状态信息细分为下述情况:
38.(1)视频卡顿状态,也即存在视频卡顿,直播音频可正常播放,例如,视频加载慢导致的黑屏、动画帧卡顿、界面不可交互。
39.(2)音频卡顿状态,也即存在音频卡顿,直播视频可正常播放,例如,声音卡顿导致的音画不同步。
41.可以理解的是,造成直播数据流播放卡顿的原因可能是设备渲染卡顿、解码卡顿、opengl处理卡顿、网络卡顿、推流异常卡顿。其中,可采用textureview渲染,textureview跟随window共用一个surface,每一帧均需要一起协同渲染并相互影响,此时,若用户界面卡顿可能会造成视频流卡顿,同样的视频流的卡顿有时候也会造成用户界面的卡顿。直播数据流在交互过程中通常采用编码器进行压缩,再将数据流解码为surface可消费的buffer数据,但是帧的复杂度、编码算法的复杂度、分辨率等也会直接导致解码耗时被拉长,从而造成卡顿;opengl处理过程中有时会对解码完成的数据做二次处理,在该过程中若耗时较长会直接导致渲染卡顿。网络包括dns节点优选、cdn服务、gop配置等,拉高硬件的运行性能,比如cpu频率、gpu频率、线程绑大核以及网络相关的调优,从底层提高app的运行体验,其中任一项无法满徐播放需求则容易造成卡顿。推流异常主要以用户侧的视角为主,若用户侧分配到的资源不足,则容易出现卡顿。
42.需要说明的是,客户端包括第一客户端和第二客户端,第一客户端用于上传和播放直播数据流,也即直播者使用的客户端;第二客户端用于播放直播数据流,也即观看者使用的客户端。直播者通过安装直播软件的第一客户端,申请开启直播房间,利用该直播房间直播者将录制的音视频数据流上传至服务端,以进行直播。服务端将第一客户端上传的音视频数据流加载至第一客户端和第二客户端。此时,观看者则可以通过安装该直播软件的第二客户端,在进入直播软件后,可以打开相应的直播房间,通过播放的音视频数据流观看
43.具体地,客户端可以是任何一种可与用户通过键盘、触摸板、触摸屏、遥控器、语音交互或手写设备等一种或多种方式进行人机交互的电子产品,例如手机、平板电脑、掌上电脑、个人计算机(personal computer,pc)、可穿戴设备、智能电视等。服务端可以是一台服务器,也可以是由多台服务器组成的服务器集群,或者是一个云计算服务中心,服务端可以包括处理器、存储器以及网络接口等。
44.在具体的应用场景中,判断客户端播放的直播数据流是否出现卡顿可采用下述方式:
46.在该实施例中,观看者或直播者可通过卡顿信息主动上报直播卡顿问题,当服务端接收到客户端发送的卡顿信息后即可获知客户端播放的直播数据流存在卡顿。同时,卡顿信息可包括卡顿状态信息,以便于服务端分析线.方式二,若直播数据流对应进程的cpu占用率大于预设占用比值,确定直播数据流出现卡顿。
48.其中,导致进程的cpu占用率上升的原因可以是进程内的内存值大、gdi(graphics device interface,图形设备接口)对象数量多、短时间内收到的通讯协议多、短时间内处理的通讯协议消耗时间太长等。
49.在该实施例中,服务端通过对直播数据流的进程的cpu占用率进行监控,若在预设时间段内直播数据流对应进程的cpu占用率大于预设占用比值,说明cpu占用率过大,在当前网络环境下存在较大的卡顿风险,此时判定客户端出现异常卡顿。
50.具体地,预设占用比值可根据客户端的硬件和运行的软件数据合理设置,例如,设置预设占用比值为90%。
51.方式三,若客户端的界面响应时长大于第二预设时长,确定直播数据流出现卡顿。
52.在该实施例中,服务端可根据直播数据流的进程发送的界面消息和接收的界面应答消息的时间差来确定客户端的界面响应时间。若在预设时间段内客户端的界面响应时长大于第二预设时长,说明界面无法快速响应用户的交互需求,则判定直播数据流出现卡顿。
53.具体地,预设占用比值可根据客户端的硬件和运行的软件数据合理设置,例如,设置预设响应时长为10ms、1s、3s等。
54.方式四,若相邻的直播数据流的时间戳之间的间隔超出预设间隔范围,确定直播数据流出现卡顿。
56.在该实施例中,服务端在接收到第一客户端上传的直播数据流映后,将直播数据流映射在时间轴上,每一帧直播数据流与时间轴的每一个时间节点一一对应。由此,直播数据流在播放过程中对应到时间轴上的时间节点具有连续性,以便于对每一帧直播数据流进行时间定位。当出现网络卡顿时,则在直播数据流对应到时间轴上的时间节点会出现停滞不变,而当网络卡顿消失后,直播数据流继续从停滞不变时对应的时间节点开始继续进行播放。故而,通过计算相邻直播数据流的时间戳的差值,来判断该差值是否超出预设间隔范围。若超出,则可以判定直播数流的播放未连续进而判定出现卡顿。
57.具体地,预设间隔范围可根据客户端的硬件、运行的软件数据以及网络参数合理
59.在该实施例中,当服务端检测到客户端播放的直播数据流出现卡顿问题时,分析直播数据流的卡顿状态信息。再通过与卡顿状态信息匹配的处理策略对直播数据流进行处理,以合成用于替换原直播数据流的音视频数据流(目标数据流)。以便于利用动态的合成视频音频流去替换卡顿期间的直播视频,以补齐卡顿丢帧,使得观看者不会有不连贯的感觉。
60.在本技术的一些实施例中,若卡顿状态信息包括视频卡顿状态,也即存在视频卡顿问题。提供了一种具体地实体对齐方案,s12中,也即根据卡顿状态信息,对直播数据流进行处理生成目标数据流,具体包括如下步骤:
61.s121-1:对直播数据流中位于卡顿起始时刻之前的目标时刻的视频帧进行截取,获取待处理图像。
62.其中,目标时刻可以是与卡顿起始时刻之间的间隔时长位于第一时长范围内,且能够得到包括人脸特征区域的待处理图像的任一时刻。第一时长范围可以设置为30ms~10min,本技术实施例不做具体限定。例如,当检测到卡顿,服务端截取卡顿前一秒的视频帧,形成该视频帧的图片,当该图片没有识别到人脸时,再截取卡顿前两秒的视频帧,直到找到有人脸的视频帧,再形成卡顿图片。
64.其中,人脸特征区域可以是面部区域或更为精细的眼睛区域、嘴区域、眉毛区域等。
65.在具体应用场景中,通过人脸检测(detection)技术识别出待处理图像中所有人脸的位置、大小、姿势等信息。再利用人脸校准(alignment)技术对人脸特征区域上的特征点进行定位,得到特征位置信息,例如,眼睛、眉毛、鼻子、嘴巴、脸部外轮廓位置的位置特征点的位置信息。最后按照上述信息确定的人脸特征区域截取人脸特征图像。
66.s121-3:将预设变化系数和人脸特征图像输入预设转换模型,得到多组目标人脸特征图像;
67.其中,预设变化系数用于表示人脸形状、表情、姿态的变化。预设变化系数可根据不同的人脸特征合理设置,例如眨眼系数、眼球转动系数、面部转动系数、嘴开闭系数等。
68.在具体应用场景中,预设转换模型可以是autoencoder(ae)模型,autoencoder模型是一类在半监督学习和非监督学习中使用的人工神经网络ann,其功能是通过将输入信息作为学习目标,对输入信息进行表征学习(representation learning)。autoencoder模型包含编码器(encoder)和解码器(decoder)两部分。decorder是三层upscale+1层卷积,upscale嵌套在encoder和decoder中。upscale的核心是pixelshuffler()函数,可通过pixelshuffler()函数把人脸特征图像进行了一定的扭曲。
69.可以理解的是,一组目标人脸特征图像对应一个人脸特征区域,一组目标人脸特征图像包括该人脸特征区域的多个不同形态的目标人脸特征图像。以嘴巴区域为例,将嘴巴特征图像输入预设转换模型后,模型输出3张嘴巴区域的图像,分别为完全张嘴的图像、不张嘴的图像和张一半嘴的图像。
70.s121-4:根据多组目标人脸特征图像分别对待处理图像中的人脸特征区域进行替
72.s121-6:将直播数据流中的视频流替换为目标视频流,得到目标数据流。
73.在该实施例中,服务端截取未出现卡顿时的视频帧,得到带有人脸的待处理图像,再按照待处理图像中的人脸特征区域提取人脸特征图像。将预设的变化系数和人脸特征图像作为输入,通过预设转换模型将人脸特征图像转化成具有不同形态人脸特征的多组目标人脸特征图像。将按照每个人脸特征区域的位置将对应的目标人脸特征图像与待处理图像进行融合,以对人脸特征进行重构,形成多张人脸特征逐渐变化的目标图像。将多个目标图像合并后形成目标视频流。通过将直播数据流中的视频流替换为目标视频流实现了目标数据流的合成。从而通过ai模型训练对静态图像进行人脸识别达到自然替换的效果,并利用人脸识别技术以及人像扣头技术能够让静态图像拥有模拟真实直播的场景,进而保证用户无感卡顿的体验。
74.具体举例来说,当直播后端系统(服务端)监控到画面卡顿,声音不卡顿时,后端系统通过主播客户端告知主播目前时间段直播视频流卡顿,同时告知主播仍然可以进行声音直播。此时,后端系统截取卡顿前一秒的具有人脸的视频帧,形成待处理图像,然后通过换脸模型deepfake识别进行人脸识别,基于模型的detection模块找到视频中脸的位置,基于alignment模块进行表情同步,判断正脸侧脸等问题开始识别人脸的眼睛和嘴巴特征值。基于autoencoder模型,使人眼根据一个实时变化的眨眼系数a自然眨眼,眼球根据一个实时变化的转动系数b自然转动,头部通过一个实时变化的晃动系数c小幅度晃动,嘴巴根据一个实时变化的张闭系数d自然张开关闭,像说话一样。利用dlib(人脸检测算法库)生成一段m秒的ai合成的目标视频流,同时推流该段目标视频流,从而将自然眨眼,眼球自然转动,嘴巴自然张开闭合的这段目标视频流去替换卡顿的视频流。当卡顿结束或者故障解决时,恢复直播视频流推流,取消ai合成视频流的推流,从而达到自然替换的效果,让用户看到画面如没有发生卡顿一样。
75.可以理解的是,目标视频流的时长可以为预估的卡顿时长,或者由第一客户端用户设定,例如10s或30s。在由第一客户端用户设定目标视频流的时长的情况下,若服务端检测到的卡顿时间大于用户设定的时长,也即ai合成的目标视频流播放完毕后直播仍然处于卡顿状态,则服务端可使用上述描述的算法再生成的一段目标流视频进行持续的替换,以此类推,直到不存在卡顿问题。
76.在本技术的一些实施例中,若卡顿状态信息包括视频卡顿状态,也即存在音频卡顿问题。提供了一种具体地实体对齐方案,s12中,也即根据卡顿状态信息,对直播数据流进行处理生成目标数据流,具体包括如下步骤:
77.s122-1:根据直播数据流的卡顿持续时长获取第一客户端对应的目标音频数据;
79.在具体应用场景中,s221中,也即根据直播数据流的卡顿持续时长获取目标音频数据,具体包括如下步骤:
80.s122-1-a:若直播数据流的卡顿持续时长小于或等于第一预设时长,调取第一客户端对应的预设音频数据作为目标音频数据;
81.在该实施例中,若预估的卡顿持续时长较短,可采用直接第一客户端用户发出的
82.例如,第一客户端提示主播在直播之前在第一客户端输入一段约1min的自己的声音录音,录音的内容可以是“嗯,哦,啊”等类似于正在思考的声音流或者“欢迎大家来到我的直播间”、“加油,奥力给”等直播过程中会反复出现的声音流。第一客户端将这段录音文件传输给直播后端系统,当检测到卡顿时间时n秒(1s~5s)时,由于音频卡顿时间较短,ai模型按照预存的录音文件仿制主播的声音发出“嗯,哦,啊”的声音流,根据卡顿时间进行匹配替换。从而使观看者感觉主播像是在思考问题或者说线-b:若直播数据流的卡顿持续时长大于第一预设时长,对直播数据流中位于卡顿起始时刻之前的音频流进行解析处理,确定直播数据流中出现的场景关键词;
84.具体地,确定直播数据流中出现的场景关键词之前,先获取不同场景的关键词训练文本,根据关键词训练文本对语音识别模型进行训练。从而通过已训练完成的语音识别模型能够有效的识别将来预设时间段内音频流中出现的场景关键词,有效提高率语音识别的准确率。
85.s122-1-c:根据场景关键词匹配第一客户端所处直播场景对应的目标文本;
86.其中,直播场景可以是游戏直播场景、美妆直播场景、带货直播场景、健身直播场景等,本技术实施例不做具体限定。
87.值得一提的是,若通过场景关键词匹配出多段目标文本,则可通过语义识别算法确定直播数据流中位于卡顿起始时刻之前的音频流的语义信息,通过语义上下文模型确定与直播数据流的语义信息最相近的目标文本,有助于增强目标音频流与直播数据流中音频流的播放连贯性。
88.s122-1-d:识别第一客户端对应的预设音频数据的音韵结构信息;
89.具体地,音韵结构信息包括音素信息(如拼音、音调)、韵律短语、韵律边界、重音等信息。
91.s122-1-e:将目标文本和音韵结构信息输入音频合成模型,得到目标音频数据。
92.在该实施例中,若预估的卡顿持续时长较长,提前准备的声音可能无法应对长时间且多变的直播场景。为此,通过解析处理,提取出为卡顿时音频流中出现的场景关键词。利用该场景关键词确定本次直播所处的直播场景。进一步利用直播场景与预设文本之间的对应关系,匹配出直播场景对应的目标文本。基于文语转换(tts,text to speech)技术,按照第一客户端用户的发音习惯通过音频合成模型对目标文本进行转换,以仿制出符合当前直播场景的语音片段(目标音频数据),使得目标数据流在能以符合直播场景和直播者发生习惯的声音进行播放,从而增强目标数据流与原直播数据流的相似度。
93.在具体的应用场景中,预设音频数据可以是第一客户端提前发送并存储于服务端的数据,例如,录音文件。预设音频数据还可以是从直播数据流中位于卡顿起始时刻之前的音频流中提取的音频数据。
94.s122-2:按照直播数据流的时间戳对目标音频数据进行处理,得到目标音频流;
95.s122-3:将直播数据流中的音频流替换为目标音频流,得到目标数据流。
96.在该实施例中,利用直播数据流的卡顿持续时长获取第一客户端用户可能发声的目标音频数据。通过原直播数据流播放时的时间戳将目标音频数据合成为目标数据流。通
过将直播数据流中的音频流替换为目标音频流实现了目标数据流的合成。从而利用ai模拟生成直播者声音的音频流,进而保证用户无感卡顿的体验。
97.具体举例来说,如果卡顿持续时长超过5秒以上,通过事先已经经过大量训练的场景识别算法,通过根据主播说的话识别出具体的直播场景,并根据具体的直播场景,结合主播的讲话内容去合成和这个逻辑相关的下一段文本,将该段文本进行语音合成处理,得到目标音频流。推流该段目标音频流,从而将这段目标音频流去替换卡顿的音频流。当卡顿结束或者故障解决时,恢复直播音频流推流,取消ai合成音频流的推流,从而达到自然替换的效果,让用户看到画面如没有发生卡顿一样。
98.值得一提的是,若音频与视频同时卡顿时,则同时进行音频流与视频流的替换。进一步地,对于合成的目标视频流可根据目标数据流中音频流对应的人声音频数据对目标视频流中嘴形进行修正,使得人脸嘴形与人声音频中的人声内容同步,进一步降低观看者对画面卡顿的感知。
99.例如,直播前,首先主播客户端提示主播输入一段或者几段主播的口头禅,比如“加油,奥力给”之类的具有自己鲜明主播特色的口头禅录音。如果卡顿时长小于口头禅语音时长,则直接按照口头禅的时间来合成ai人脸视频推流,同时嘴型根据口头禅的声音进行闭合,像真实说话一样。如果卡顿持续时长n大于事前录制的口头禅语音时长,将口头禅的录音加载n秒的中间部分,同时配合声音嘴巴根据声音自然张嘴闭嘴,就像偶尔说下自己的口头禅一样,当卡顿时,将自然眨眼,眼球自然转动,嘴巴自然张开闭合加语音的这段合成视频音频流去替换卡顿的视频流,从何达到自然替换的效果,让用户无法感知。
101.在该实施例中,服务端将目标数据流加载至客户端,由此,客户端在接收到目标数据流后,停止播放与有的直播数据流,并开始播放目标数据流,以利用目标数据流代替卡顿时的直播数据流进行播放。从而降低观看者对直播卡顿的感知,有效提升直播者和观看者的观看体验,解决了因卡顿导致的用户流失的问题。
102.在本技术的一些实施例中,提供了一种具体地实体对齐方案,如图2所示,s13之后,还包括如下步骤:
104.其中,直播恢复时刻可以是与卡顿终止时刻之间的间隔时长位于第二时长范围内的任一时刻。第二时长范围为将目标数据流切换回直播数据流的缓冲时间,可按照直播者的直播习惯合理设置。
106.其中,第一客户端为上传直播数据流的客户端,提示信息包括卡顿终止时刻与直播恢复时刻所处的时段内目标数据流对应的音频文本和在直播恢复时刻目标数据流对应的人脸轮廓信息中至少一者,以及直播恢复时刻。
108.在该实施例中,当直播卡顿问题得到解决后,服务端按照卡顿终止时刻设定客户端恢复直播数据源播放的直播恢复时刻。并根据直播恢复时刻向第一客户端发送提示信息。由此,第一客户端能够在直播界面上显示直播恢复时刻、在直播恢复时刻目标数据流对应的人脸轮廓信息和/或目标数据流对应的音频文本,使得第一客户端用户能够按照人脸
轮廓和音频文本及时调整直播位置和语言,以使后续直播内容能够与ai仿制的目标数据流进行衔接。在当前时刻达到直播恢复时刻时,服务端停止目标数据流的推流,并继续原直播数据流的推流,以继续进行直播。从而利用字幕和轮廓图形让直播者获知ai生成的音视频内容,让直播者准确的把握卡顿的ai替换目标数据流的无缝衔接,有效降低观看者对直播卡顿的感知,有效提升直播者和观看者的观看体验,避免了用户的流失。
109.请参阅图3所示,图3为本技术实施例提供的适用于客户端的基于人工智能的直播卡顿的处理方法的一个流程示意图,包括如下步骤:
110.s21:在播放直播数据流的过程中,接收服务端发送的目标数据流;
113.在该实施例中,在播放直播数据流的过程中,若接收到服务端发送的目标数据流,说明客户端播放的直播数据流存在卡顿问题。客户端可将停止播放直播数据流并播放目标数据流,以利用目标数据流代替卡顿时的直播数据流进行播放。从而利用动态的合成视频音频流去替换卡顿期间的直播视频,实现了卡顿丢帧的补齐操作,使得观看者不会有不连贯的感觉,进而降低观看者对直播卡顿的感知,有效提升直播者和观看者的观看体验,解决了因卡顿导致的用户流失的问题。
114.在本技术的一些实施例中,基于人工智能的直播卡顿的处理方法还包括如下步骤:
116.其中,提示信息包括直播数据流的卡顿终止时刻与直播恢复时刻所处的时段内目标数据流对应的音频文本和在直播恢复时刻目标数据流对应的人脸轮廓信息中至少一者,以及直播恢复时刻。
118.在该实施例中,在接收到服务端发送的关于恢复直播的提示信息后。解析该提示信息,确定其中的直播恢复时刻,以及目标数据流对应的音频文本和/或人脸轮廓信息。在直播界面上显示音频文本和人脸轮廓信息中至少一者,使得第一客户端用户能够按照人脸轮廓和音频文本及时调整直播位置和语言,以使后续直播内容能够与ai仿制的目标数据流进行衔接。
119.s25:按照直播恢复时刻和当前时刻,利用倒计时模块在直播界面上渲染显示直播倒计时信息;
120.在该实施例中,在显示音频文本和人脸轮廓信息的同时,按照直播恢复时刻和当前时刻的时间差,通过倒计时模块在直播界面上渲染显示直播倒计时信息。从而通过倒计时提前告知用户直播恢复时刻,并是用户能够直观的看到距离直播恢复时刻的时间变化,让“盲目”等待变为“有计划”等待,减少直播切换带来的焦虑感,在提高直播者的使用体验的同时降低观看者对直播卡顿的感知。
121.s26:若当前时刻为直播恢复时刻,停止显示音频文本、人脸轮廓信息直播倒计时信息和目标数据流。
122.在该实施例中,在当前时刻达到直播恢复时刻时,停止显示音频文本、人脸轮廓信息直播倒计时信息和目标数据流,以便于继续进行无干扰的直播。
123.具体举例来说,如图4所示,当卡顿结束或者故障解决时,后端系统将ai合成视频的人脸位置告知主播客户端,主播客户端通过位置信息描绘出虚线或幻影的人脸形式,通过主播客户端展示告知主播当前ai合成人脸的所在位置以及字幕显示ai合成音频正在播放的文字内容,并进行正常直播的倒计时。提示主播可以在倒计时时间内将自己的人脸对准虚线框位置,同时可以通过字母显示ai合成音频读到的当前台词,在卡顿回复后,ai主播的字幕可持续显示,以提示主播根据字幕文字去读。当倒计时结束时,取消ai合成视频推流,进行正常的直播推流,而此时主播时的人脸刚好出现在ai合成视频主播人脸的位置,无缝衔接,不会有顿挫感,使得直播观看用户感觉主播一直在正常直播一样。
124.值得一提的是,倒计时期间ai合成视频中的虚线,让其虚拟人脸保持不动,只是眼睛和嘴巴仍然根据之前实时变化的系数继续进行眨眼,张嘴和闭嘴。
125.应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本技术实施例的实施过程构成任何限定。
126.本技术实施例提供的基于人工智能的直播卡顿的处理方法,可应用在如图5的应用环境中,其中,第一客户端和第二客户端通过网络与服务端进行通信。客户端可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务端可以用独立的服务端或者是多个服务端组成的服务端集群来实现。
127.在一实施例中,提供一种基于人工智能的直播卡顿的处理装置,该基于人工智能的直播卡顿的处理装置与上述实施例中基于人工智能的直播卡顿的处理方法一一对应。如图6所示,该基于人工智能的直播卡顿的处理装置包括:确定模块601、处理模块602、通信模块603。各功能模块详细说明如下:
128.确定模块601,用于若检测到客户端播放的直播数据流出现卡顿,确定直播数据流的卡顿状态信息,其中,卡顿状态信息包括视频卡顿状态和/或音频卡顿状态;
129.处理模块602,用于根据卡顿状态信息,对直播数据流进行处理生成目标数据流;
130.通信模块603,用于将目标数据流加载至客户端,以供客户端将目标数据流代替直播数据流进行播放。
131.本技术提供了一种基于人工智能的直播卡顿的处理装置,当服务端检测到客户端播放的直播数据流出现卡顿问题时,分析直播数据流的卡顿状态信息。再通过与卡顿状态信息匹配的处理策略对直播数据流进行处理,以合成用于替换原直播数据流的音视频数据流(目标数据流)。服务端将目标数据流加载至客户端,由此,客户端可利用目标数据流代替卡顿时的直播数据流进行播放。从而利用动态的合成视频音频流去替换卡顿期间的直播视频,以补齐卡顿丢帧,使得观看者不会有不连贯的感觉,进而降低观看者对直播卡顿的感知,有效提升直播者和观看者的观看体验,解决了因卡顿导致的用户流失的问题。
132.在一实施例中,卡顿状态信息包括视频卡顿状态;直播卡顿的处理装置还包括:第一获取模块(图中未示出),第一获取模块用于对直播数据流中位于卡顿起始时刻之前的目标时刻的视频帧进行截取,获取待处理图像,其中,目标时刻与卡顿起始时刻之间的间隔时长位于第一时长范围内,待处理图像包括人脸特征区域;处理模块902,具体用于按照待处理图像中的人脸特征区域截取人脸特征图像;将预设变化系数和人脸特征图像输入预设转换模型,得到多组目标人脸特征图像;根据多组目标人脸特征图像分别对待处理图像中的
人脸特征区域进行替换处理,得到多个目标图像;对多个目标图像进行合成处理,得到目标视频流;将直播数据流中的视频流替换为目标视频流,得到目标数据流。
133.在一实施例中,卡顿状态信息包括音频卡顿状态;直播卡顿的处理装置还包括:第二获取模块(图中未示出),第二获取模块用于根据直播数据流的卡顿持续时长获取第一客户端对应的目标音频数据,其中,第一客户端为上传直播数据流的客户端;处理模块902,具体用于按照直播数据流的时间戳对目标音频数据进行处理,得到目标音频流;将直播数据流中的音频流替换为目标音频流,得到目标数据流。
134.在一实施例中,第二获取模块,具体用于若直播数据流的卡顿持续时长小于或等于第一预设时长,调取第一客户端对应的预设音频数据作为目标音频数据;若直播数据流的卡顿持续时长大于第一预设时长,对直播数据流中位于卡顿起始时刻之前的音频流进行解析处理,确定直播数据流中出现的场景关键词;根据场景关键词匹配第一客户端所处直播场景对应的目标文本;识别第一客户端对应的预设音频数据的音韵结构信息;将目标文本和音韵结构信息输入音频合成模型,得到目标音频数据。
135.在一实施例中,通信模块603,还用于接收第一客户端发送的预设音频数据。
136.在一实施例中,第二获取模块,还用于提取直播数据流中位于卡顿起始时刻之前的音频流中的音频数据作为预设音频数据。
137.在一实施例中,确定模块601,还用于若检测到直播数据流停止卡顿,确定直播恢复时刻,其中,直播恢复时刻与卡顿终止时刻之间的间隔时长位于第二时长范围内;通信模块603,还用于根据直播恢复时刻发送提示信息至第一客户端,以供第一客户端显示提示信息,其中,第一客户端为上传直播数据流的客户端,提示信息包括卡顿终止时刻与直播恢复时刻所处的时段内目标数据流对应的音频文本和在直播恢复时刻目标数据流对应的人脸轮廓信息中至少一者,以及直播恢复时刻;按照直播恢复时刻停止将目标数据流加载至客户端。
138.在一实施例中,确定模块601,具体用于响应于客户端发送的卡顿信息,确定直播数据流出现卡顿。
139.在一实施例中,确定模块601,具体用于若直播数据流对应进程的cpu占用率大于预设占用比值,确定直播数据流出现卡顿。
140.在一实施例中,确定模块601,具体用于若客户端的界面响应时长大于第二预设时长,确定直播数据流出现卡顿。
141.在一实施例中,确定模块601,具体用于若相邻的直播数据流的时间戳之间的间隔超出预设间隔范围,确定直播数据流出现卡顿,其中,时间戳与每一帧直播数据流映射在时间轴上的时间节点相对应。
142.在一实施例中,提供一种基于人工智能的直播卡顿的处理装置,该基于人工智能的直播卡顿的处理装置与上述实施例中基于人工智能的直播卡顿的处理方法一一对应。如图7所示,该基于人工智能的直播卡顿的处理装置包括:通信模块701、显示模块702。各功能模块详细说明如下:
143.通信模块701,用于在播放直播数据流的过程中,接收服务端发送的目标数据流,其中,目标数据流根据直播数据流的卡顿状态信息生成;显示模块702,用于停止播放直播数据流并播放目标数据流。
144.在一实施例中,通信模块701,还用于接收所述服务端发送的提示信息,其中,所述提示信息包括所述直播数据流的卡顿终止时刻与直播恢复时刻所处的时段内所述目标数据流对应的音频文本和在所述直播恢复时刻所述目标数据流对应的人脸轮廓信息中至少一者,以及所述直播恢复时刻;显示模块702,还用于在直播界面上显示所述音频文本和所述人脸轮廓信息中至少一者;按照所述直播恢复时刻和当前时刻,利用倒计时模块在所述直播界面上渲染显示直播倒计时信息;若所述当前时刻为所述直播恢复时刻,停止显示所述音频文本、所述人脸轮廓信息所述直播倒计时信息和所述目标数据流。
145.关于基于人工智能的直播卡顿的处理装置的具体限定可以参见上文中对于直播卡顿的处理方法的限定,在此不再赘述。上述直播卡顿的处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于电子设备中的处理器中,也可以以软件形式存储于电子设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
146.在一个实施例中,提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现以下步骤:若检测到客户端播放的直播数据流出现卡顿,确定直播数据流的卡顿状态信息,其中,卡顿状态信息包括视频卡顿状态和/或音频卡顿状态;根据卡顿状态信息,对直播数据流进行处理生成目标数据流;将目标数据流加载至客户端,以供客户端将目标数据流代替直播数据流进行播放。或者,在播放直播数据流的过程中,接收服务端发送的目标数据流,其中,目标数据流根据直播数据流的卡顿状态信息生成;停止播放直播数据流并播放目标数据流。
147.在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:若检测到客户端播放的直播数据流出现卡顿,确定直播数据流的卡顿状态信息,其中,卡顿状态信息包括视频卡顿状态和/或音频卡顿状态;根据卡顿状态信息,对直播数据流进行处理生成目标数据流;将目标数据流加载至客户端,以供客户端将目标数据流代替直播数据流进行播放。或者,在播放直播数据流的过程中,接收服务端发送的目标数据流,其中,目标数据流根据直播数据流的卡顿状态信息生成;停止播放直播数据流并播放目标数据流。
148.在一个实施例中,提供了一种电子设备,该电子设备可以是客户端,也可以是服务端。该电子设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部服务端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于人工智能的直播卡顿的处理方法的功能或步骤。
149.需要说明的是,上述关于计算机可读存储介质或电子设备所能实现的功能或步骤,可对应参阅前述方法实施例中,基于人工智能的直播卡顿的处理方法的相关描述,为避免重复,这里不再一一描述。
150.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,
本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限,ram以多种形式可得,诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
151.所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。
152.以上所述实施例仅用以说明本发明的技术方案,而非对其限制,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。
针对网络直播中因网络波动、内容突变等因素导致的卡顿检测不准确问题,提出基于动态阈值自适应的检测与修复方法。通过构建包含网络带宽、缓冲区、帧率、丢包率等多维度指标体系,结合网络参数、用户行为及历...
针对流媒体播放中卡顿检测依赖人工排查、效率低的问题,提出通过分析每一流转环节的卡顿异常特征,结合二级归因分析和置信度评估,实现卡顿原因的精准定位。该方法通过特征提取、候选原因筛选及置信度计算,...
2460476、直播视频播放方法、设备、存储介质及计算机程序产品与流程
针对低时延直播中因网络波动和转码抖动导致的视频卡顿问题,提出通过综合分析下载帧率与原始帧率的抖动时差,以及转码输出帧率抖动时差,计算直播视频的抖动延时,并据此动态调整缓冲时长,从而优化视频播放...
针对直播过程中画面卡顿影响用户体验的问题,提出通过检测卡顿、获取卡顿前视频帧并进行人脸识别生成目标视频的解决方案。利用生成的视频替代卡顿内容,结合预存音频和提示信息,实现无缝播放,有效提升观看...
2460480、一种视频文件处理方法、装置、电子设备以及存储介质与流程
针对直播过程中卡顿问题,提出通过分析多条目标卡顿线路的直播参数,筛选出关键因子并组合确定卡顿因素的方法。通过统计参数数量、计算卡顿比例上升幅度及占比,识别异常参数并组合分析,显著提升卡顿因素定...
1.数字信号处理 2.传感器技术及应用 3.机电一体化产品开发 4.机械工程测试技术 5.逆向工程技术研究
1.振动信号时频分析理论与测试系统设计 2.汽车检测系统设计 3.汽车电子控制系统设计