一种面向远程操控的鼠标与回传画面的同步方法及系统与流程

admin

1.本发明涉及远程操控及视频传输技术领域，尤其是涉及一种面向远程操控的鼠标与回传画面的同步方法及系统。

背景技术：

2.随着音视频编解码技术和人机交互技术的发展，远程操控技术在分布式坐席管理、协同办公及桌面共享等领域得到了广泛应用。当前基于ip的远程操控技术，主要是通过对键盘鼠标信号和主机的视频信号分别进行编码传输及远端解码，实现管理人员在不同地理位置可通过键鼠来异地操控远端计算机，从而减少系统内站位值守的人员配置，提高系统调度的实时响应。

3.由于在通过键鼠进行远程操控时，管理人员需要将远端主机的回传画面作为参考画面，因此键鼠与回传画面的同步性非常重要。尤其是鼠标的移动会产生回传画面的连续变化，鼠标光标是否能够及时到达目标点，管理人员的动作幅度需要多大，这些在很大程度上决定了远程操控的体验感。

4.进一步地，回传画面的鼠标光标的实时性能主要取决于以下两个方面：远端受控主机鼠标光标的画面实时性和经过编码、传输和解码后的受控主机在本地的回传画面实时性。

5.键鼠和视频画面的数据编解码流向如图1所示。键鼠信号编码及传输在局域网内一般为约5～20ms，这个延时对操控者而言基本是可以忽略感觉不到的。而高清视频画面在60fps通过编码、网络传输、解码延时约100ms左右，4k画面延时甚至可达200ms。这就造成了受控端主机画面的鼠标光标实际已到位而回传画面看到的鼠标光标滞后的情况出现。当回传画面与受控端主机实时画面延时相差过大时，用户通过本地鼠标操控远程主机时，就容易产生回传画面上的鼠标光标并不能随心所欲移动到目标位置，存在延迟滞后、不易对准等现象。因此如何解决回传画面延时与鼠标光标实际移动速度的同步问题，是提高远程操控体验感的关键问题。

6.目前未找到专门针对提高鼠标和回传画面实时性的相关专利。从技术角度而言，为了达到该目的，通常采用减小回传画面的延时的方法来提高回传画面与鼠标的同步性。目前减小画面传输延时主要有如下两类技术途径：

7.1、从视频编码技术上减小延时，如目前主流的浅压缩技术，还有光纤视频传输技术。如“一种可远程操控主机的显示器”，采用同轴光纤将kvm接口信号调制实现远距离传输，虽然受控主机回传画面具有较高的实时性，但没有进行视频压缩，也不支持基于ip交换的分布式架构，属于传统的视频信号延长处理方法，无法实现音视频数据与ip数据同传；浅压缩的流量也基本在300m左右，对系统架构、应用灵活性上存在较大的限制。

8.2、采用提高视频流网络通信效率方式来减小回传画面的延时。在专利“一种实现零拷贝发送流媒体数据的方法和系统”(申请号：2008101429.2)，“一种流媒体解码方法、系统及移动终端”(申请号：201310122798.2)，主要通过优化网络协议栈或共享内存等方式，对视频报文的字段进行识别、协议卸载等优化处理，该方法主要从软件角度减少网络报文进出栈和拷贝的次数，来提高视频传输实时性，但对视频编码、解码延时没法进行优化，而且网络性能与硬件平台相关性较大，提升能力有限。