• 媒体

承载信息的载体

• 什么叫多媒体

多种媒体的结合和利用

• 多媒体的关键特性

信息载体多样性，交互性，集成性

• 多媒体系统的特点

综合性、多元性、广泛性

• 媒体的分类

视觉，听觉，触觉; 文本，图形，图像，音频，视频，动画

• 媒体和媒体技术

• 分类、特点、数字化方法；

听觉：波形，符号化 视觉：彩色空间: RGB…HSV, 位图

• 波形化、采样

• 彩色、动态

• 三维化处理

• Hoffman编码

三-4 http://en.wikipedia.org/wiki/Huffman_coding

Huffman's scheme uses a table of frequency of occurrence for each symbol (or character) in the input. This table may be derived from the input itself or from data which is representative of the input. For instance, the frequency of occurrence of letters in normal English might be derived from processing a large number of text documents and then used for encoding all text documents. We then need to assign a variable-length bit string to each character that unambiguously represents that character. This means that the encoding for each character must have a unique prefix. If the characters to be encoded are arranged in a binary tree:

An encoding for each character is found by following the tree from the route to the character in the leaf: the encoding is the string of symbols on each branch followed.

For example:

  String   Encoding
    TEA    10 00 010
    SEA    011 00 010
    TEN    10 00 110

Decoding:

• 算术编码

三-4~5

编码：

解码：

• 游程长度编码

http://en.wikipedia.org/wiki/Run-length_encoding

From this:

WWWWWWWWWWWWBWWWWWWWWWWWWBBBWWWWWWWWWWWWWWWWWWWWWWWWBWWWWWWWWWWWWWW

To this:

12W1B12W3B24W1B14W

• LZ77

http://en.wikipedia.org/wiki/LZ77

(Pointer, Length) Charactor. 寻找匹配过得最长字符串

AABCBBABC

Encoding: (0,0)A=>(1,1)B=>(0,0)C=>(2,1)B=>(5,3)/=>END
Decoding: A AB C BB ABC

• LZ78

http://en.wikipedia.org/wiki/LZ77 LZ77 Works on past data, LZ78 works on future data

• LZW

http://en.wikipedia.org/wiki/Lempel%E2%80%93Ziv%E2%80%93Welch One of LZ78

• homework:

http://ucarenya.com/wiki:multimedia_hw_0330?s[]=multimedia

• 数据压缩

指标：压缩比，质量，速度

• JPG 压缩原理

混合压缩. 分块⇒FDCT变换⇒量化⇒Z扫描⇒编码⇒熵编码⇒组成位数据流

• MPEG1

MPEG－1的标准号为ISO/IEC 11172，名称为“信息技术——用于数据速 率大约高达1.5Mbps的数字存储媒体的电视图像和伴音信号编码。”

• MPEG4

MPEG-2可以看成是MPEG-1的扩充，因为它们的基本编码算法是相同的， MPEG-2增加了隔行扫描电视的编码，提供了位速率的可变性能等功能。 MPEG-2要达到的目标是：速率为4～9Mb/s，最高达15Mb/s。

• QoS描述参数

利用率= 实际表现速率/最大交付速率。（当利用率大于1时，所有交付的对象都 可以表示出来，当它小于1时，说明交付速度快于表现的速度，为了维持同步，就 要丢弃一些对象） 抖动：表现时的瞬时差异。 位错率和包错率标志网络的可靠性。

• 时间媒体基本概念

基于时间的媒体（Time-based Media，又称时基媒体），或称时间依赖媒 体（Time-dependent）： 多媒体是在不同环境中文本、图像、声音、视频等各种媒体的集成。在这 些数据中，有的媒体与时间密切相关，例如动态图像中的音频和视频，它 们与时间有着强烈的依赖关系，在采样和回放时需要以时间为参数系进行 有序的组织。这些媒体就称为基于时间的媒体（Time-based Media，又称 时基媒体），或者称为时间依赖媒体（Time-dependent）。

• 时间同步

组织时基的、非时基的多种媒体序列以达到某种表现效果的任务，就称为 多媒体同步或合成。 同步即可以用于并发或顺序的数据流布局，也可以用于对所产生的外部事 件进行安排。

• 同步描述说明的方法，SMIL

同步多媒体描述语言

• 时间轴，PETRI网络, 描述，互相转换

Petri网络元素: http://www.ucarenya.com/g/d/3852-1/petri.JPG 基准轴：被所有对象的表现共享。 在基于基准轴的同步说明中，开始和结束等表现事件被映射到基准轴上。 可分为两种方式：

• 基于全局定时器的同步

• 基于虚拟轴的同步

• 调度算法 7.14+

• 要素，特点

超媒体是一种多媒体信息的组织方式，将多媒体信息按照超文本方式组织。

* 基于内容的图像检索

所谓基于内容检索，就是从媒体数据中提取出特定的信息线索，然后根据 这些线索从大量存储在数据库中的媒体中进行查找，检索出具有相似特征 的媒体数据。

• 静态，颜色直方图(9,93+)

假设一幅图像G的颜色（或灰度）由N级组成，每一种qi记录， 颜色值用值用对具有该颜色值的像素数为hi，可以得到直方图。直方图描述了一幅图像 的颜色特征。用直方图描述图像的颜色特征有如下性质：

• 系统组成

基于内容检索结构一般用于多媒体数据库系统之中，当然也可以单独建立 应用系统。从基于内容检索的角度出发，系统由几个大的模块组成：

• 组织媒体输入的插入子系统
• 对媒体作特征提取的媒体处理子系统
• 储存插入时获得的特征和相应媒体数据的数据库
• 支持对该媒体的查询子系统

• QoS: 10.04
• 协议
• 名称
• 作用
  • IPv6
  • STII
  • RSVP
  • 实时传输协议和实时控制协议
    • RTP：Real-time Transport Protocol。实时传输协议
    • RTCP：Real-time Control Protocol。实时控制协议
    • RSVP：Resource Reservation Protocol。资源预留协议
    • RTSP：Real-time Streaming Protocol。实时流协议

• ITU-T 四标准

ITU－T的T.120，H.320，H.323，H.324标准包含了多媒体会议的核心技术。 T.120 标准针对实时数据会议 H.320标准针对ISDN会议电视 H.323标准针对在局域网络上的视频通信 H.324标准针对公众交换网上的多媒体通信

• 多点控制

多点控制单元MCU，是不支持终端功能的节点，它们作为交换节点，可以 对连接中的数据和其他媒体流进行交换。一个多点会议中可以有多个MCU 设备。因为会议可能涉及很多个会议终端，而一个MCU对视频音频这一类 的实时信息流的处理能力有限，一个MCU连接会议终端的数目有限，当会 议终端数据较多时，多个MCU设备进行级连。

使用LZW算法得到的码字流：

1, 2, 4, 3, 5, 8, 6, 9

编码条件：

请进行译码，给出码字流

答：解码过程如下：

所以解码后的字符流为:

ababcbabababcbaba

• 编码过程如下：

使用LZ78算法得到字符流

(0,A) (0,B) (0,C) (1,B) (3,A) (4,C)

译码并给出字符流

答： 译码过程如下：

所以解码后的字符为：

ABCABCAABC

* 编码过程如下：