登陆注册
13955600000025

第25章 视频信息处理技术(7)

2.基于流程图的写作工具

Authorware、IconAuther和HSCInterActive是三种典型的基于流程图的写作工具。该类工具使用流程图来安排节目的流程,每个流程图由许多图标组成,这些图标扮演脚本命令的角色,并与一个对话框对应,可在对话框中输入相应的内容,它与脚本命令要填入的参数大同小异。

3.基于时序的写作工具

编制多媒体节目除了要安排节目的内容和流程外,还要控制各种媒体数据同步。基于时序的写作工具通过将元素和事件沿一根时间线安排来达到同步的目的,Action是最有代表性的基于时序的写作工具。一个Action节目通常由多个类似ToolBook中页的场景组成,可直接在场景内安排各对象的位置关系,还可用时间线来控制对象间的先后关系和同步。

在实际应用中可供选用的软件很多,大致可以分为动画制作软件和声音处理软件两类。软件分类详细情况如表61所示。

软件EasyCDDAExtractor

将光盘音轨转换成wav格式的数字化音频文件ExactAudioCopy

将多种格式的光盘音轨转换成wav格式的数字化音频文件RealJukebox

在Internet互联网上录制、编辑、播放数字音频信号Goldwave

带有数字录音、编辑、合成等功能的声音处理软件CoolEditPro

编辑功能众多、系统庞大的声音处理软件AcidWAV

声音编辑与合成器L3Enc

将wav格式的普通音频文件压缩成mp3格式的文件Xingmp3Encoder

将wav格式的音频文件转换成mp3格式的文件WinDAC32

将光盘音轨直接转换并压缩成mp3格式的文件6.4多媒体数据库技术

多媒体信息如音频、图像、视频等需计算机处理的二进制数据是非结构化的,不能简单地用数学解析式表示。多媒体数据库必须取得基于这些媒体对象内容及信息特征的解释,才能完成存储及至检索应用,这些解释称为元数据。通过对元数据归类、整理,实现标准化的存储与检索是多媒体数据库中的主要问题。多媒体元数据数据库结构庞大,数据种类繁多,应用范围也极广,如网上数据共享、网站的网页制作、远程多媒体教学以及多媒体课件制作等。完善元数据的存储与检索机制,是对信息处理技术的重大贡献。

6.4.1多媒体元数据采集与处理

元数据中,由内容描述的元数据占有较大成分。内容描述的元数据与媒体信息属性有关,它不能从它们的内容单独或自动地生成,必须用使用者的描述或媒体内容的代表特征来勾画出媒体对象的特性。

1.元数据生成

元数据是通过媒体对象的特征提取函数生成的。特征提取函数提取元数据需要一定的语义空间,不同属性媒体其语义特征也不同。例如,颜色或结构可以用于图像数据的特征,静默期可用于音频数据的特征。特征提取函数使用的同类语义空间的集合构成了相同属性的媒体元数据。元数据生成过程如图62所示。

原始媒体信息经特征提取函数(媒体预处理器)提取媒体特征后形成独立媒体,再经后级特征提取函数处理形成媒体依赖,即媒体的产生时间、地点和所有者等形成元数据,各类属性的元数据通过检索接口输出,存储并供用户查询。

2.多媒体数据库的存取

存取多媒体信息的过程必须迅速,从而使检索的时间缩短到最低限度。数据存取的基础是为构成一个数据库的各种媒体而产生的元数据。为了提供高效率的存取,元数据必须使用合适的索引结构来存储。采取什么样的索引结构应根据媒体、元数据以及被当做数据库应用程序一部分的查询类型而定。

3.多媒体信息的检索

数据库检索是数据库系统最重要的功能之一,典型的检索包括以下几部分:

①需要输出的数据项;

②可供查询的信息库;

③查询条件(查询谓词),根据谓词描述的内容和媒体特征以及谓词被指定的方式可用不同的类型对多媒体数据库进行查询。

6.4.2基本媒体元数据的存取

基本媒体元数据包括文本元数据、音频元数据、图像元数据和视频元数据,它们构成了数据存取的基础。

1.文本元数据的存取

文本元数据主要指归类、编码、压缩处理后的文本(文档)格式描述的元数据的总称。文本元数据要使用所谓的文本信息语言来描述,如标准生成标记语言(SGML)用于描述印刷品上的控制标记和文档结构等。其中可使用文档类型定义(DTD)来描述元素类型,DTD规范的元素类型由标题信息(Titleinfo)、摘要(Abstract)、内容(Contents)及参考文献(References)等构成,SGML文档DTD定义描述了文档结构的元数据。

为快速存取文本,必须使用合适的存取结构。同时,选择用于文本存取的索引特性,必须有助于根据用户的查询选出适当的文件。常采用的两种方法是全文扫描和倒排文件。

①全文扫描,即在整个文件集合中查找所要的查询特性。在整个文件中查找索引特性的一个简单算法是将查找媒体的特征与那些在文件中出现的特性进行比较。在查找不匹配时,搜索在文件中查找的位置,一次往右移一下,一直这样移下去,直到在文件中找到该特性或搜索到文件的末尾。这种存取特点是不必为文件保存另外的查找信息(如索引文件),其明显的缺点是再次查询时需要进行全文查找。

②倒排文件用来存储一个文件或一组文件的查找信息。查找信息包括索引特性和一组指向索引特性出现的文件指针,如图63所示。

倒排索引可使用散列表形成或存储。此方法使用散列功能来映像,以字符或字符串形式出现的所有特性,并放进散列表中,是基于倒排文件技术的散列方法。

2.语音元数据的存取

语言涉及口语,通常被看做是音频的一种,并定义为独立的数据类型。它的元数据分离较为困难,一般通过辨识语音的单词、语音韵律的变化、静默的时间、发音位置给出,还应能把静音时间和非语音的声音识别出来,并存储为元数据。利用配套硬件及开发软件可组成语音识别系统,如图64所示。它由符号处理模块和模式匹配模块两部分组成。

数字信号处理模块获取语音模拟信号(通过麦克风或录音机)并进行数字化转换后,再经处理语音模块检测静音时间,以及语音和非语音的区别。把原始的波形转换成频率域表示形式,并进行数据压缩。处理过的语音信号用于口语单词及说话人韵律信息的识别。识别过程是通过把处理过的语音和存储模式进行匹配,由模式识别算法最终得出语音元数据。

语音元数据的存取具有如下特点。

(1)用先进的神经网络模型和动态时间分配算法识别索引特性的模式匹配算法。

(2)单词和短语作为一个语言索引特性,单元过于庞大复杂,因此,子单词(subword)单元可用于语音索引特性,步骤如下:

①决定可用于语言索引特性的可能子单词单元;

②从语音文档中提取每个索引特性的不同发音;

③使用不同的发音,训练识别索引特性的模式匹配算法。

检索语音文档是检查一个给出的单词或句子是否出现在一个有效的文档集合中。检索的实现方法是在查找索引特性的元数据与数据库中有效检索特性的元数据之间寻找最优匹配。

3.图像元数据的存取

知道图像的类型,对生成元数据的算法是有好处的。算法可根据指定的图像类型属性的信息分析,其中也包括图像对象的颜色和纹理信息。图像元数据析取的基本要求是定位图像上的对象,这就要求把图像分段成区域或对象;另一种方法是根据对象中的指定属性或特性,这些特性有助于区分要分析的图像,并分类成不同的对象类型。

图像分段处理有助于分离数字化图像中的对象。分离图像中的对象有两种方法:第一种称为边界检测方法,它试图定位存在于对象中的边界;另一种称为分区方法,它从决定像素落在一个对象之内或之外开始,因此把图像区分为内部和外部点集。

主要的图像分段技术有阈值技术和区域生长技术。

1)阈值技术

阈值技术的原理是:灰度像素等于或大于阈值的被分配到对象中,小于阈值的像素落在对象之外。这种技术可应用于图像分段,有助于特定背景下对象的简单识别,当然,要精心地确定阈值。

2)区域生长技术

区域生长技术开始好像对象的内部在生长,直到它们的边界与对象的边界相一致。这里,一个图像被分成一组细小的区域,这些区域可能是单一的像素或一组像素。识别出区分对象(如灰度、颜色、纹理)的属性,给每个区域的这些属性赋一个值,将这些值进行集合的并集运算,形成可理解图像界(子区域)即图像的元数据。

上面描述了图像元数据产生的方法。图像元数据描述了对象的不同特性,诸如它们的位置、颜色、纹理。为了便于存取,产生的元数据必须以适当的索引结构存储,通常有以下两种技术用于存储图像元数据:

①存储图像中对象之间的定位与空间关系的逻辑结构;

②对于有相似特性诸如颜色和纹理的图像来讲,相似簇生成技术能把它们归类在一起。

4.视频元数据的存取

产生视频元数据最简单的方式是提供文本描述,用于描述手动记录和与存储相关的数据库信息。另一种方法是用自动/半自动机生成所需的元数据。由内容描述的元数据的生成必须基于用户或应用程序输入的视频对象。为了保证视频元数据的生成过程,所用工具必须具有以下功能:

①识别视频中的逻辑信息单元;

②识别视频中的摄像操作的不同类型;

③识别视频中的低级图像属性(如亮度);

④识别语法分析逻辑单元的语义属性;

⑤识别视频中的对象及其属性(如对象动作)。

要自动对其进行语法分析的信息逻辑单元称为摄像镜头或剪辑。假设镜头是表示时间和空间一个连续动作的帧序列,镜头识别的基本思想是帧的任何一边出现摄像中断都会引起信息内容的明显变化。视频分析算法应能探测到信息内容的这一变化,以此识别镜头的边界。

视频数据的存取依靠视频元数据。视频元数据通常包括特定的视频点和对视频点的描述,视频点的描述着重于摄像头的移动、对象移动和某一视频帧的质量。为了快速存取,元数据的存储必须使用恰当的存储结构。如果查询包括对象、事件和摄像机的描述,那么存储元数据标志的数组首先要被存取。此数组给出了节段数的顺序列表,这些节点轮流给出视频帧的序列。而摄像机操作数组如图65所示将首先被存取。此数组给出一系列节段数的节点:2,3,4,5,6,7,8。存取这些节点,得到视频帧序列\[5,10\],\[10,15\]和\[15,30\](对应对象数组)。如果查询能够直接操作节段树,那么从节段树中就可以搜索出所需要的视频帧序列,例如,如果查询需要标记在某一个帧序列中的对象,节段树可以存取对象并标记它。

6.4.3数据库对多媒体数据的支持

多媒体数据占据很大的存储空间,数据库必须提供相应的存储管理方法。由于多媒体数据的特性使得多媒体数据的存储与管理必须满足一定的特殊要求:第一,具有同时存储与管理格式化与非格式化两种数据类型的能力;第二,要能承载特别巨大的非格式化数据;第三,必须具有多种媒体数据综合表示能力。

传统的数据库无法表示上述三种特殊需求。首先,传统数据库一般只能表示格式化数据,而对非格式化的数据,特别是对兼有格式化和非格式化数据类型的要求无法满足;其次,传统数据库在单位结构内无法存储大量数据;再者,传统数据库在多种媒体数据综合表示能力上尚有所欠缺,无法从语义上完整表示。因此,传统数据库无法支持多媒体数据在存储和管理上的要求。

为此,必须对传统数据库作适当的改造才能满足多媒体数据库管理上的要求,目前采用的多媒体数据管理方式一般有三种:文件管理方式、关系数据库管理方式和面向对象数据库管理方式。这三种方式中,文件管理方式为早期多媒体应用所采用,下面主要介绍关系数据库的管理方式和面向对象数据库的管理方式。

1.关系数据库的管理方式

由于近年来各大关系数据库系统,如Oracle,Sybase,Informix等,均先后作了适应多媒体数据存储和管理的改进,普遍增添了专用的多媒体属性,其专用属性的存储容量可达8GB以上,因此关系数据库管理方式是当前多媒体数据管理的主流。

1)扩展的关系数据库

关系数据库是目前应用最多的一种数据存储方法。传统的关系模型结构简单,是单一的二维表,数据类型和长度也被局限在一个较小的子集中,又不支持新的数据类型和数据结构,很难实现空间数据和时态数据,缺乏演绎和推理操作,因此表达数据特定的能力受到了限制。为了使关系数据库能支持多媒体数据,必须对现有的关系模型进行扩充,使它不但能支持格式化数据,也能处理非格式化数据,通常采用模型扩充法。

2)基于内容的检索

基于内容的检索就是根据多媒体信息的内容来检索,即根据媒体对象的语义、特征进行检索。它包含信息内容和检索两方面。信息内容与信息的理解有关,比如图像理解、视频理解等;检索不仅与采用的搜索方法有关,还与匹配的判断准则有关系。通常情况下,基于内容的信息检索首先要对媒体信息进行分割,使其成为单独的检索对象,然后再对每个媒体对象进行特征提取,特征的集合构成了它的内容描述。接下来,就可以根据要求从多媒体信息库中返回一组与检索要求的内容描述最接近的对象。

基于内容检索的系统结构如图66所示,整个系统由客户和服务器两部分组成。服务器部分由对象分割与特征提取、内容描述、搜索引擎和多媒体数据四个部分组成。对象分割与特征提取是基于内容检索的关键技术之一,也是一个难点;内容描述是在图像分割与特征提取的基础上对内容进行描述;搜索引擎的功能是接受用户的查询请求,其核心问题是如何做到既提高搜索的速度,又不至于遗漏满足相似度要求的信息。

2.面向对象数据库的管理方式

同类推荐
  • 网络广告经纪人

    网络广告经纪人

    本书为网络广告经纪人培训认证的指定教材,该认证是商务部中国商务广告协会和信息产业部中国电子商会联合推出的,旨在为国家造就和培养出一大批网络广告梯队型人才。该教材包括网络广告经纪人的介绍和发展趋势,以及网络广告的原理、策划、设计、制作、发布与交换、效果评估、管理,以及网络广告营销的国内外最新的成功案例,还提供了一些常用的网络广告制作工具。本教材适合助理网络广告经纪人和网络广告经纪人层次使用。也可作为高校广告、电子商务等专业的教材。
  • 如何操作电脑

    如何操作电脑

    信息社会是科技、文化发展,知识爆炸的结果。不懂得计算机,将处于半文盲的境地。因此,对于计算机,不仅要作为工具使用,已经是一项文化普及的要求。我们不仅要会使用计算机做一些诸如文字处理等具体工作,更要培养一种计算机意识。
  • 科学伴你行-神奇的通信技术

    科学伴你行-神奇的通信技术

    在日常生活中,有时人们要借助于小旗子来进行通信联络,比如,开运动会时,发令员常常要用小旗子与计时员联系;当你乘坐火车进入车站时,都会看到车站工作人员拿着红色和绿色的小旗子在站台上进行指挥;在战争中,打出白色旗子表示投降,插上红色旗子表明胜利;航行在茫茫大海上的船只,双方船员会凭不同旗帜组成的标志,来了解对方的意思。以上种种用小旗子来“说话”的通信方式就叫做旗语。
  • 中国网络传播研究2009(第三辑)

    中国网络传播研究2009(第三辑)

    本文以传统社区研究的“场域论”为基础,探讨网络传播中场域性互动对社会舆论的影响。文章首先从传统社区传播的场域性特征出发,探讨网络传播的社区性和场域性。然后分别分析了传统门户、BBS论坛和私人博客等三种主流的网络传播的场域性互动、意见表达和舆论形成的特点。最后结合“张殊凡事件”、“王石捐款”事件以及“黑砖窑”事件,探讨网络传播中的场域性互动对社会舆论从虚拟到现实的影响。
  • 中国移动智能手机的秘密

    中国移动智能手机的秘密

    《中国移动智能手机的秘密》是一本关于移动终端和移动互联网的科普书。作者将这18年通信行业中的学习、思考、实践积累成《中国移动智能手机的秘密》与大家分享。书本系统总结了手机的发展历史、TD产业界“从2G向3G演进”的移动终端产业分化重组进程、智能手机的使用方法用方法和应用指南,以及对移动互联网发展独特思考。
热门推荐
  • 重生之定风波

    重生之定风波

    在瀚海无垠的修行世界,万族林立,神迹不绝。身负太古绝脉的周昊,终于走完了自己凄惨的一生。当他以为自己这个倒霉鬼,终于要黯然退场之时。一切又回到了千年前的原点。这一次,太古绝脉,我要你成为我的奴隶!周昊默默的发出呐喊,暗暗下定决心要改变发生的一切!
  • 天行

    天行

    号称“北辰骑神”的天才玩家以自创的“牧马冲锋流”战术击败了国服第一弓手北冥雪,被誉为天纵战榜第一骑士的他,却受到小人排挤,最终离开了效力已久的银狐俱乐部。是沉沦,还是再次崛起?恰逢其时,月恒集团第四款游戏“天行”正式上线,虚拟世界再起风云!
  • 糖蜜犹如梦

    糖蜜犹如梦

    一段高甜文来袭前面有点虐就问你接不接受,反驳无效天天都想腻在一起,这爱情就像梦似的……_对于我这个单身来说就是如梦幻影啊
  • 医世长央

    医世长央

    风宸大陆青宁国坊间有一传闻,镇国将军府独女燕清澜幼时受过惊吓,导致体弱,常年卧病在床。已有十年不曾公开露面。而江湖之中则有另一传闻——世有鬼医,其名卿岚,青衣翩翩,未及弱冠便以医毒双绝。
  • 乌坦狂少

    乌坦狂少

    斗破苍穹的萧炎小哥是不是很牛叉??尽管再多么的牛叉,我们的萧炎小哥还是有一个心愿未了。那就是重游前世,回到地球……
  • 再度归来之她是女王

    再度归来之她是女王

    并瑞希原本是家里的小公主,奈何这一切都是假象,母亲离奇死亡,小三登堂入室,继妹百般欺辱,父亲不闻不问,男友忽然变心。并瑞希带着所有仇恨,离开了5年,再度归来,她将是女王
  • 恶魔校草霸宠三丫头

    恶魔校草霸宠三丫头

    “女人,你胆子很大,到现在为止,还没有人敢从本少爷头上飞过去。”某恶魔男眯着一双迷人的桃花眼,看着面前的嚣张女孩。“kao,你以为你是谁啊!小鸟还天天从你头顶上飞过呢!有本事你丫给一个个抓过来啊!”安琪儿气恼,靠!遇到极品了,这么臭屁的理由。“做我的宠物,一个月。”他霸道的宣布。“不要,士可杀不可辱!!”某女志气十足“扔进万毒窟。”某恶毒男邪笑着吩咐。“不要,大爷,求求您饶了我吧!”某人承认,她很没志气。“那做我的宠物,半年。”某男很是邪恶的宣布他的答案。“为什么是半年?”“宠物,我给过你机会,是你自己不知道珍惜。”哇咔咔!!世界到底肿么啦,邪恶男怎么越来越多了,她不过是转学第一天而已,她招谁惹谁啦!!为什么做了他的宠物,这个恶魔加变态,同居,亲吻,还要同床,越来越过分了!!她要反击,华丽丽地反击……他是学校的王,万人之上,却对她情有独钟,以调戏她为乐,他是身有疾病的冷酷王子,却在见到她第一面就情种深种;嫉妒成性的双胞胎姐姐,学校里一群虎视眈眈的情敌,一次次的阴谋陷害,一次次的死里逃生,MD,欺负她老实是吧!老虎不发威还真当她是病猫了!!!
  • 极品女丁进阶手册

    极品女丁进阶手册

    苏曼怎么都没有想到,自己魂穿之后居然成为了史上最强背锅侠,这是什么操作?那个世子,待她有朝一日有了自由身,必然将自己所受的千般万般偿还于他。“苏曼,你会嫁给世子吗?”苏曼踩了踩一旁地上的石子,只恨不能喷一口唾沫星子:“就算这世上男人灭绝了,我也不嫁他。”某人藏于暗处,薄唇微微抿了抿,脸上冒着黑线,莫名地尴尬。
  • 绝世狂妃:废柴逆天三小姐

    绝世狂妃:废柴逆天三小姐

    她,21世纪最强杀手,经历了99道轮回,最后一道穿越到了碧泉大陆几锦绣国丞相府最无用的废柴三小姐身上。废柴?全系灵师,灵武双修,随手契约一个小灵兽,都令人闻风丧胆。一不小心拥有了一个灵兽军团,低于九阶,不要!呵!区区上品丹药就想诱惑我?告诉你,本小姐上品丹药当糖豆吃。呵!九阶灵兽当契约兽也想诱惑我?告诉你本小姐随手一挥就会有神兽跑过来求着我给他当主人。金币也想诱惑我?告诉你,本小姐什么都缺就是不缺金币。各色美男围绕身边,某人强势霸道地说“她是我的,你们这些小蝼蚁都给我滚一边去!”且看他们携手并肩笑看风云起!
  • 龙武神尊

    龙武神尊

    凌云峰背着一包种子回到异界,有转基因大豆、太空菠菜、胡萝卜、朝天椒……这些在现代社会备受争议的食物,对于异界修武者来说却是效果极佳的灵丹妙药。于是……山不在高,有仙则名,水不在深,有龙则灵,靠山修仙,靠水武龙。这是一个废柴小子依靠神奇种子修炼龙魂,并最终走向巅峰的故事。