分类导航  
技术方案  (87)
成功案例  (3)
山东政府网络解决方案  (336)
山东金融网络解决方案  (60)
山东教育网络解决方案  (87)
山东电力网络解决方案  (33)
济南军区网络解决方案  (5)
山东能源网络解决方案  (90)
山东交通网络解决方案  (33)
山东媒体网络解决方案  (19)
山东医疗网络解决方案  (74)
山东酒店网络解决方案  (72)
山东网吧网络解决方案  (5)
山东物流网络解决方案  (16)
山东电信网络解决方案  (25)
山东联通网络解决方案  (7)
山东移动网络解决方案  (11)
山东广电网络解决方案  (23)
山东企业网络解决方案  (62)
山东机房装修解决方案  (2)
山东系统集成解决方案  (7)
山东制造业网络解决方案  (12)
山东业务管理网络方案  (12)
山东流通行业网络方案  (6)
山东建筑行业网络方案  (4)
  最新文章  
山东惠普服务器视音频资产存储管理系统解决方案
山东百谷信息技术有限公司   2012-03-15 18:26:00 作者:SystemMaster 来源: 文字大小:[][][]

前 言


  1. 资料管理现状
    中国广播电视事业历经半个世纪的发展和几代人的艰苦努力,已经形成了大量高水平、高质量、具有历史收藏价值的音像节目和视音频素材资料。随着时间的延续这些资料的保存价值和重要性也随着突显出来。首先,这些视音频资料需要更安全可靠和长效的介质保存;其次这些宝贵资料更需要合理有效的存储管理系统,使它们完整有序、便于检索、并能够方便快捷地提供全方位的音像信息服务,充分发挥这些视音频资料的实用价值。
  2. 高新技术的应用
    资料管理工作早以走过了"卡片索引+手工检索"的历史阶段,引进先进的技术手段是必然的选择。模拟制式将最终被数字制式替代,数字流磁带和数字化存储将成为节目保存的主流。
    数字化技术在节目的录制、编辑和播出业务普遍应用,将有效的提高节目保存和播出的质量,海量存储技术也为视音频资料的数字化提供了大规模存储的基础。
  3. 对资料管理的要求
    信息化在知识经济时代的深入,情报和信息工作对节目资料的检索和再利用提出更高的要求,编导在制作节目时,要查阅库存中同类或相似的节目资料以便参考和再利用;逐渐增多的行业内部交流更需要节目资料共享;随着远程宽带网络的飞速发展,我们所拥有的丰富资源必将通过网上节目交流而产生巨大的经济效益和社会效益。
 
第一章 方案综述
本章首先阐述了建设视音频资料存储管理系统的必要性和迫切性;然后,对系统业务需求进行分析;最后,提出系统总体建设目标和设计原则
1.1建设视频资料管理系统的必要性
  • 视音频资料管理系统现状:数量大、价值高
    一般的媒体用户均拥有了几万小时的节目资源,而且每年还再不断增加。资料越来越多,种类日趋齐全,其有形价值和无形资产均不能以金钱去衡量。
  • 资料库房的面积小,密度大,物理条件差
    由于历史原因,库房条件不是很理想,条件不满足磁带的长期保存要求,极易造成资料的损失。
  • 资料管理现代化的条件已具备:技术的进步,编导需求,有应用基础
综合上面的几点资料使用情况,说明建立一个资料丰富,保存条件好,编目完备的现代化视音频资料存储管理系统已经刻不容缓。
1.2业务需求分析
现有系统保存了一大批具有历史意义和史料价值的视音频节目素材,如何完好的保存这些资料和节目,成为当前的重要课题。首先,原来历经几十年,几代工作者积累的大量视音频资料要完整的保存,其次这些视音频资料存放在不同格式的磁带上,最后所有资料都要便于存放,便于查找,使保存的资料能够真正体现出他们的价值。
建成后的数字化视音频资料存储管理系统能够实现下述几方面的功能:
A、 海量存储:建成的系统存储量要满足存储约上千小时的视音频节目并随着节目制作的不断增加实现系统的无缝升级,存储的介质类型以符合数字化技术潮流和保存时间长的介质为主。
B、足够的输出能力:编导和用户需要节目的视音频数据时,系统应能及时输出所需的介质或提供视音频信号。
C、充足的输入能力:能够满足处理同时有多个工作终端的工作要求,满足若干编导多路采集的资料处理能力。
D、快速简捷的资料整理:对资料管理系统要求操作简捷直观符合规范。
E、易懂有效的资料检索:无须专门培训,检索系统也能够达到检索的要求。
第二章 系统设计
系统建成后,所有视音频资料将进行完善的编目,同时对所有资料将逐步进行数字化保存,系统的数据量是空前的。多级存储部分作为整个计算机系统的数据处理、存储和管理中心,承担着海量信息的存储处理和维护任务。对设备的可靠性、开放性、可扩充性及可管理性提出了较高的要求。
为了对系统的编目、检索、视音频传输等应用提供持久、稳定可靠的性能,系统采用惠普公司的Surestore VA7100高性能磁盘阵列和可堆叠的2/20自动化磁带库并依托HP Openview软件构成整个多级存储体系。
惠普公司致力于存储技术领域已有几十年的历史,惠普公司同时拥有多种存储技术和针对不同行业的解决方案经验,惠普公司的各项存储产品在存储市场占有很大的份额,可为用户提供高性能和高可靠性的存储硬件产品,可有效的提高系统的存储性能,大大降低系统的造价。软件方面,惠普高效的Openview软件同时可为迅速增加的企业数据提供高度的可存取性以及可靠的保护。
2.1存储系统的容量估算
根据亚细亚公司多年对媒体行业研究和实施经验,我们认为对系统所要满足的存储空间需求估计如下:
参考节目资料存储管理系统的数据量、软件开发及数据库管理的经验,系统中的管理类数据,磁带物理状态信息数据等属于文字类数据,所占存储空间总量约在100M(节目时间长度2000小时),他们在全部数据中只占很少的比重,存储系统中最主要的数据是多媒体(视音频)数据和编目检索数据。 我们以存储容量2000小时为基础,以下的估算均以此为依据。

  1. 文字类编目检索数据
    按平均每盘资料节目带的长度为1小时计算,包含10条编目单元,文字量为5KB(标题,来源,稿件,分类号,关键词等),全文检索数据量与文字信息大体相当,计算如下:
    编目单元数:2000小时*1盘磁带/小时*10条/盘磁带=20000
    文字信息量为20000条*5KB/条=100000
    文字类编目检索数据数量:100M
  2. 多媒体信息数据
    假设对所有入库视音频资料进行全程采集,对部分节目采集MPEG-2则:
    MPEG-1:2000*3600*1.5/8=1350GB (节目时间长度2000小时)
    MPEG-2:1000*3600*25/8= 3125GB (节目时间长度1000小时)
    所以多媒体信息总量为: 4475GB
    考虑到增加数据冗余和备份设计(约占30%),存储系统需要具有4TB的数据存储能力,其中假设在系统的磁盘阵列将最近10天之内入库的节目和常用数据信息及检索频率高的资料在线存储,在加上系统的检索信息,这部分在线资料大约730GB,其他多媒体数据主要存储在专门设置的数据流磁带设备中。
 
2.2设计原则与目标
2.2.1高性能
对整个系统来说,所要处理的数据量相当巨大,并且要进行高质量的实时视频流的存储,查寻及检索,因此要求系统的主机与数据库具备优越的并发处理能力,从而保证每个业务在较短的时间内得到处理,这就需要主机具有多个高性能的处理器,高速的内存系统和高效,快速访问的外围设备。
方案配置
服务器:HP ProLiant DL580G2
处理器:最多支持4个Intel Xeon 1.4GHz/1.6GHz处理器 L3
高速缓存为512KB/1MB
内存:标配1GB/2GB PC1600内存,可扩展到32GB
PCI 插槽:6个PCI-X插槽,5个可用,4个热插拔
控制器:集成双通道SmartArray 5i阵列控制器,64MB高速缓存
硬盘:支持4块Ultra3/Ultra4 SCSI热插拔硬盘
高度:4U高度
2.2.2海量存储
系统的数据存储总量在几个TB,系统应能够提供可靠的,快速的存储体系来存储如此巨大的数据量。
2.2.3开放性
为满足视音频资料存储管理系统的要求,必须配备一个高效的,开放的操作系统。操作系统环境必须能支持大型数据库和大规模视频资料存储的需要,具有极大的内存寻址能力,可支持32位和64位的各种应用。
2.2.4易于扩展和升级
随着系统规模的不断扩大,系统功能的不断完善,系统所要处理的数据量也会相应增长,因此在选择设备要有超前意识,选择扩展性好的机型,从而保护客户的长期投资。
2.2.5可管理性
可管理性是评价一个系统极为重要的性能指标,为保证系统高效,稳定的运行,必须能够采用多种手段进行管理和维护,系统应对故障的发生有一定的预见性,系统出现故障时系统管理员能够轻松的对故障进行定位、检测和排除,系统的配置应易于更改,调整,并有完整的记录以便管理。
2.3 系统结构设计
 
2.3.1多级存储系统
  • 存储体系、结构及优势:
    对媒体用户而言,既要满足大型数据库和大规模视频资料海量存储的需要,又要随着信息量的增长保证系统是可升级、可扩充的。多级存储体系结构正是随着这种应用的发展提出的,一个集中式的多级存储网络由存储设备和网络设备组成,多服务器通过局域网与磁盘阵列、磁带库等存储设备相连,是基于Client/Server架构下的存储解决方案。
    网络的物理结构 :
    从物理角度上来看,典型的存储环境应包括几个主要组件级别:最终用户平台,如客户机,存储设备等。通常,基于传统局域网和广域网技术的网络设施可提供最终用户平台和服务器组件之间的连接,存储子系统是与服务器、最终用户平台和其他用户终端设备通过以太网或千兆以太网设备相连的。
    网络结构的优点:

    费用相对低廉、易于部署。通常存储设备在一个局域网上通过与服务器连接占有自己的节点。在这种结构中,一台专用存储服务器处理网络上的所有数据,将数据存储的负载由应用或其他服务器上卸载下来。这种集中式的多级存储架构是Ethernet和SCSI相结合的存储技术。 它提供了更好的可伸缩性,而价格却更低。
2.3.2存储介质
在媒体资产存储管理系统中,亚细亚集创公司依托惠普公司在存储领域的强大技术优势,配合惠普公司的软硬件平台向行业客户推出媒体行业存储管理解决方案。
在多级存储体系中,一个存储网络包括磁盘阵列、数据流磁带库等存储介质,根据各自的性能,决定了它们在多级存储体系下的不同作用。
  • 磁盘阵列--HP SureStore VA 7100
    HP SureStore VA 7100磁盘阵列是一种快速、大容量的在线存储系统,用并行存取来减少存取时间,提高响应速度;再加上采用双组件容错热插拔,消除了设备的单点故障率。升级系统无需停机,使磁盘阵列的正常运行时间高达99.95%; 利用独有的AUTORAID技术实现异种(NT,LINUX,HP-UX)环境下的共享,提高了系统对网络环境的适应能力;集成的网络管理软件使用户在网络上的任何一个地方都可以方便的对存储空间进行有效的资源调配。
  • 数据流磁带库--HP SureStore 2/20磁带库
    磁带库由于经济、可靠及大容量,人们已将其作为多级存储体系种重要的二级存储设备。数据流磁带库从结构上来讲由磁带、磁带驱动器、机械手等构成,具有模块化设计的体现。磁带是顺序存储设备,读写速度相差不大,保存时间较长,利用磁带保存数据可以在保存时间和存取效率两方面均得到比较满意的效果。系统采用的HP SureStore 2/20磁带库是随着存储技术发展推出的新产品,其中使用的惠普 LTO驱动器是目前业界存储容量最高,存储速度最快的磁带驱动器,它代表了当今磁带驱动器的最新技术。
2.3.3数据备份管理-- OpenView OmniBack II
由于硬盘成本较高,不可能将所有的数据都放在硬盘或磁盘阵列柜上,惠普 OpenView OmniBack II管理软件是在满足节目资料海量存储的同时又用磁带库容量大、价格低廉的特点对媒体资料实现多级存储和安全保护。
2.3.4数据迁移--HP OpenView OmniStorage
作为媒体行业视音频资源的数字化存储已经成为业界的共识。但解决了海量存储的问题之后,如果所有海量数据都存储在磁盘阵列上,那些并不重要或很少被访问的数据就会占据昂贵的硬盘空间,造成资源的不合理配置,对于此种应用惠普可提供分级存储的解决方案,将并不重要或很少被访问的数据迁移到较便宜的二级或三级存储介质设备上。由于大量的数据存放是存储在二级存储设备(磁带库,光盘库)中,所以就需要一个很好的数据备份迁移策略来管理硬盘和磁带库中的数据,当需要使用磁带库中的数据时,要能够及时找到数据所在的磁带,同时要保证及时地将数据传送到所需要的地方。一般来讲,就是先将数据从磁带迁移到硬盘中,再由应用系统将数据传送到目的地;同时要将硬盘上不常用的数据迁移到磁带中。
系统中,我们结合了HP OpenView OmniStorage分级管理的客户机/服务器数据存储解决方案,通过用户定义可以根据文件规模、访问时间或其他参数控制迁移,而且单一文件或全部的目录可以排除在迁移之外。整个的操作过程对于用户和应用程序而言,数据存取是透明的,而且与物理位置或中介不相关。通过与OmniStorage与OmniBack II紧密集成,系统可以地备份和恢复文件以及文件系统。对于那些通过OmniStorage从第二媒体迁移到备份媒体的文件来说OmniBack II可以管理它们的备份。
 
如上图所示,①代表用户按磁盘阵列、数据流磁带库优先级别进行数据检索,如果查询的多媒体数据不在磁盘阵列时,则到数据流磁带库进行检索,将数据从数据流磁带库读到磁盘阵列,再提交给用户,并让该数据暂时驻留于阵列,等待下一用户的检索。②代表将磁盘阵列上的重要数据迁移备份到数据流磁带库。③代表如果在磁盘阵列上的数据,由于某种原因,检索频率不高,可以将其进行"删除",以免占用空间。
第三章 节目资料计算机管理系统
上面两个章节是对整个节目资料 存储系统网络环境的阐述,可是对于媒体用户而言它的使用特点还在于节目资料的使用,前面说过整个节目资料存储管理系统不仅要能提供节目保存的良好环境,同时也要做到节目的快速检索和查找。能够做到节目快速检索和查找就一定要有一个完善的编目系统,亚细亚集创公司通过多年与各级电视台合作,不断了解用户的使用需求开发出了一套适合媒体行业用户的节目资料编目检索系统。
3.1业务设计
视音频资料计算机管理就是要利用计算机将这些资料好好管理和保护起来以便编导的再利用。同时对节目的编目系统要按照一个统一的,规范的方式将各类节目分门别类的存放,对节目中出现的所有的信息,不论是文字的,还是声音的、图像的,都加以标引,使用户从任何角度出发,都能够准确、迅速地找到所需要的资料。对不同的节目源也可以采用不同的编目方式,以提高编目效率。
3.2业务流程
 
流程描述:
A、从模拟磁带库中取出要数字化保存的节目,首先在数据库中通过节目代码与原有磁带节目建立连接,以便在节目数字化后仍能从原始模拟磁带库中找到最初的版本;
B、接着通过录象机对节目源进行模拟转数字过程,以便对濒临毁坏的模拟节目做长期的数字化保存,在这个过程中需要同时出两个码流的版本,一版是高码流直接进入自动化磁带库供编导在后期编辑,另一低码流版本做节目编目、索引,查询;
C、通过数字化采集端输出的低码流节目先保存在系统磁盘阵列暂存区(注:这时的节目只完成了一部分的编目工作,还有更详细的节目标引工作没有进行,所以为了方便编目标引人员操作,我们在磁盘阵列划分了两个逻辑分区,利用分区把节目半成品和成品分开)中,同时在采集过程中进行简单的节目编目整理;对存放在暂存区中的节目,编目标引人员会对它进行二次更详细的标引加注,丰富索引条件;
D、所有工作完成后编目标引的数据自动记录到数据库中供编导通过客户端浏览器在线查询,检索,完成所有编目标引的节目也同时进入到磁盘阵列区永久保存。
E、用户需要检索时通过客户端浏览器界面输入查询信息和关键字,经过数据库搜索找到与条件匹配的视频文件。如果编导需要进一步对检索到的节目做编辑制作,通过系统管理程序调出保存在自动化磁带库中的高码流节目为编导使用。
3.2 系统功能
3.2.1数字化控制系统
在节目从模拟到数字的过程中控制录象机的操作,数字化录象机通过控制模块与采集系统连接,使操作人员在采集过程全程控制录象机。
3.2.2节目采集系统
利用数字化采集卡把节目压缩编码成高码流和低码流的节目。整个采集系统我们在设计时主要注重以下几个功能:
A、设计是基于标准和开放的系统平台,易于操作;只需升级软件和板卡就可实现系统的扩展和升级。
B、系统具有片段截取、用户自定义循环录制、出/入点自动标记、单/双通道系统同步录制、整理和回放、可变速度片段回放等多种功能。
C、支持在采集的同时,截取片段。并通过自动出/入点标记、手动出/入点标记等技术,保证片段截取的完整性和准确性。
D、采集码率可由用户灵活定义。
3.2.3节目编目系统
编目系统是否完善直接关系到编导在查询节目时的准确性和方便性,为了提高该系统的使用效率,我们设计了两个编目过程,提供给用户选择:
A、简单编目:编目系统对不同题材的节目做不同的编目处理,提供多种编目方法如:按节目分类编目,按节目内容编目,按节目要素编目,关键桢抽取,分镜头编目等。
B、详细编目:在采集过程中形成的简单编目信息基础上,在添加详细编目信息,使不同的节目能进行分类标引,并提供分类辅助标引手段,提供分类标引的维护功能,可以利用主题词,关键字等对节目标引,在主题词确立的完成后引入安全权限机制,保证用户标引信息的安全性。同时也提供主题词的维护功能
3.2.4节目查询系统
节目资料查询是对编目系统结果的调用。可以按照各种主题词、关键字等要素进行查询,返回结果。在对节目资料进行了多媒体采集和编目的基础上,查询终端不仅可以使用原有的检索系统查询节目资料的文字、图片类信息,还可以通过网络浏览到低码流的节目资料。
查询系统功能如下:
A、根据用户的权限对节目进行检索,系统可以通过关键词,关键字等信息对节目检索,检索到信息通过用户端浏览器进行实时视频浏览;
B、检索模块是具有独立性的,满足用户的组合。在用户端可以通过一个检索界面获得整个系统的节目信息。
C、支持全文检索
D、支持数据库检索
E、针对编导检索的节目可以自动形成节目检索单
3.2.5节目安全控制系统
作为整个磁带的管理系统,系统的安全是由为重要的,它应该可以限制用户的访问权限和针对不同级别的节目做出不同的浏览权限,最大限度的保护节目资源的安全。我们的安全控制系统提供以下权限:
A、对数据操作的权限:对于编目和标引等环节的操作人员因为工作的需要可能要改动某些已经处理过的文件,但是在改变的同时所有操作记录都被系统数据库记录,并提供给不同人员不同身份认证。
B、系统管理的权限:整个系统是一个软硬件结合的系统,它要涉及不同的管理比如网络管理,数据库管理,这些人员在对自己职责行使权限时应该是经过系统授权,所有的操作是在整个系统的安全控制范围之内。
C、对用户和资料的权限:所有用户根据不同的职位和不同的应用范围具有不同查询权限,同时出于对节目的内容的保护也有不同的安全级别的限制供不同的用户身份访问。
以上涉及的所有权限应具有灵活的改变方法,可以根据电视台人事和体制变动而变动。
3.2.6 节目统计,计费系统
节目计费模块是整个节目资料价值的体现,统计模块是整个资料库使用情况的体现。通过这两个模块的使用,领导可以对整个系统的运转和使用情况有全面的了解。
A、节目统计是为了配合电视台管理,它应该具有对节目所有操作进行记录,一方面为电视台有关部门提供节目管理信息,另一方面可以对统计记录做回查,配合安全管理模块对系统安全提供保障。
B、计费是对电视台节目资料价值的一样体现。它可以以使用的时间为计费手段比如:天,月。也可以以节目的内容为计费方式
第四章 存储格式的确定
视音频资料管理系统存储的视音频素材,在选择存储格式时,应综合考虑过去、现在、将来已经使用或将要使用的格式,选择高质量、高效率、便于再利用的方式存储各种不同类型数据。
压缩格式的选择应满足以下条件:
----信号图象质量足够高;满足再编辑利用时对图象、声音质量的要求。
----尽量高的压缩效率;在保证质量的前提下,降低存储成本和维护费用,减少网络传输压力。
----较好的兼容性;考虑HDTV、DTV等数字电视的飞速发展,压缩格式应较易向数字电视过渡,且损失较小。
----较长的生命周期。
综合以上条件我们选择MPEG2,它是专业视音频信号压缩格式,是唯一全球电视行业都接受的,适用于后期制作和传输播出。目前MPEG2已经广泛应用于信号传输中,且在高清晰度电视和数字电视中已采用MPEG2压缩技术。同时MPEG2在前期素材采集,后期节目制作领域的应用技术也在不断发展成熟,可以说MPEG2已经成为电视行业应用非常广泛的技术。
MPEG2本身也包含多种格式,以类(Profile)和级(Level)来定义,不同的类和级的组合适用于不同的应用场合。由于目前技术条件的限制,长GOP(图像组)MPEG2做编辑尚不能成熟,但I、IB、IBBP短GOP帧编辑技术已步入实用阶段,随着逐帧MPEG2编辑技术逐步完善,从素材采集一直到存储播出整个链路采用MPEG2格式成为可能。在不同的应用场合采用不同的"类"和"级"组合,配以合适的码率,可满足不同的使用要求。如在采集、编辑阶段采用只有I、IB、IBBP帧短GOP组合的MPEG2 4:2:2编辑码方式,重点是保证编辑质量和精度;传输播出时可根据使用场合要求的不同选用4:2:2或4:2:0编辑码方式。这样一来整个链路均采用MPEG2一种格式,最大限度地减少了由于数据格式转换带来的图像质量损失,使系统组合更为合理统一。
实际使用中,根据具体情况,选择合理的应用格式,达到最佳使用效果。综上所述,目前技术条件下,对需高质量长期保留的成品带,20-30Mb/s左右码率,4:2:2取样格式,长GOP的MPEG2压缩方式是压缩效率与图像质量之间较好的平衡点,可作为存储时格式与码率选择的参考。对图像质量要求不严格的场合如体育、新闻素材,可用较低码率4:1:1或4:2:2格式存储。当MPEG2I帧或短GOP组合的,适用于前期记录和后期制作的设备成熟后,对图像要求较高,经济使用的素材,可直接存储,而不需变换成长GOP编辑码方式。从而构成由前期一直到播出的整个环路的MPEG环境。
注:以上是亚细亚集创科技有限公司与惠普公司提出的标准方案。根据每个单位的不同需求,我们可以设计出具体的技术和实施方案。欢迎垂询!
最新评论
发表评论
标题
内容
表情
 

山东百谷信息技术有限公司立足济南面向山东致力于倾听客户需求,提供客户所信赖和注重的创新技术与服务。鲁ICP09058378Copyright © 2009-2012|H3C CISCO | HUAWEI HP IBM DELLJUNIPER |

@历下软件园创新型企业@ @山东省政府采购中心中标供货商@山东省第十一届全运会网络安全维护技术保障单位@

@山东专业网络信息技术服务商@专业网络设备分销商@系统集成服务商@网络方案设计及咨询@服务器及数据安全建设

@山东H3C核心代理商@星级认证服务中心@山东IBM服务器区域代理商@山东思科解决方案供应商山东思科技术支持中心

@山东HP服务器核心分销商@山东华为数据通信设备核心合作伙伴@山东JUNIPER精英代理商@山东华赛银牌代理@山东DELL服务器@

@了解百谷信息@组建和谐网络@立足济南服务山东@青岛烟台威海日照潍坊东营莱芜滨州德州聊城泰安菏泽日照济宁枣庄临沂@

地址:山东济南市花园路189-2号历下软件园 电子地图:http://edizhi.edushi.com/sdbaigu   邮箱:sdbaigu@sdbaigu.com

本商店顾客个人信息将不会被泄漏给其他任何机构和个人。本商店logo和图片都已经申请保护,不经授权不得使用 
山东百谷信息技术有限公司© 20012009 All rights reserved  有任何购物问题请联系我们在线客服 电话:13608928216