为什么会出现马赛克?vidyo是怎么解决的?
如果说中间有两个包丢了,会出现就会出现马赛克。马赛克机制和马赛克原理是什么?和编码的机制有关,他把你这个一帧帧变成图片传过去。当然完整都传过去的。不是的,大家都知道,实际上视频会议编码也做了好多优化。他举个例子,手在动的过程中,下一秒和上一秒可能只之间只有细微的变化。那他上传的是这个变化,而不是传在整幅图片。所以说他第一个帧第一个图片可能做一个基本帧。而后面帧就是基于这个基本针的一个变换来传是这样的去做的。所以假如说这个人真的不动,那他传的数据量是少的。如果你在移动传的数据量是大的。那么现在来说互联网出问题了,把两个包给丢了。后面帧依赖那两个帧,因为他是基于他的偏差来传的,那会就出现了出现马赛克。因为图像是没办法还原。需要网络带宽比较高,但带宽达到不了,所以都变成马赛克。
这是马赛克造成原因,那怎么去处理呢?为什么说可扩展编码能解决这个呢?就是把视频传输进行了分级优先级分层处理了。那么我们是怎么做呢?大家会看到这里面有一个高稳定性通道和低稳定性并发,在高稳定通道上传输的小型图片,适用于手机等小型图片。在低稳定性通道传输更大的,包含了更多颜色,像素等,适用于pc,会议室终端等。那么在高稳定性通道就可以使用更多的安全策略,重传,纠错处理等。所以当网络出问题的时候,那在低稳定性通道的包就报丢了,不影响。当然说这个不影响是不影响什么,首先是不会出现马赛克,但人物头像会有影响,没有那么平滑。
当然vidyo 做了通道的处理,有两种会议模式。一种是运动型的,举个例子,这个时候在野外以运动为主,那我就是处在高帧率模式。那么另一种,可能就是说人基本不动,就是处在高清晰度模式。
2020-07-30