[转]优酷网视频存储架构

仅供参考.我就不发表什么意见了,大家来讨论下..
运维的同学都要看看.


视频分享网站总会面对这样两个问题：视频资源能否吸引网民以及视频浏览是否顺畅？中国互联网协会互联网数据中心发布的《2008上半年视频网站数据》显示，2008年上半年，优酷网月度总访问时长突破1.1亿小时，通过与全行业的浏览时长比对，优酷网占据的时长份额已超过50%。Gomez中国网站用户体验排行榜显示，2008 年7月1日到2008年7月31日，优酷网的平均响应时间是2.78秒。

1.1亿小时与2.78秒，正是这两个长短对比鲜明的数据，充分体现出优酷网“快者为王”的经营理念。近日，记者独家采访了优酷网CTO姚键，试图从技术方面揭密优酷网的快字诀。

一切为了性能

“2007年，优酷网的用户访问量提升了25倍。”姚键说起这个增长仍显激动，“硬件设备同样有相应的增加。”据记者了解，目前优酷网有近千万个视频资源，以每段视频20MB来计算，大约占据200TB的存储空间。优酷网采用服务器直连式存储（DAS）架构，即一台服务器只连接一台存储阵列。姚键透露，优酷网目前有数千台服务器。

优酷网的服务器主要来自戴尔，还有一部分来自惠普。优酷网引进的戴尔服务器主要以 PowerEdge 1950与PowerEdge 860为主，存储阵列以戴尔MD1000为主。如上图所示，优酷网将PowerEdge 1950作为Web服务器和流媒体服务器，分别服务于页面系统与视频系统。另外，还有一些服务器作为转码服务器，将用户上传的视频进行解码和再编码，最后做成统一的FLV格式。在存储层面，优酷网主要利用戴尔MD1000+ PowerEdge 860的组合，两者以DAS的方式相连，作为一个存储单元。

在回答记者提出的为何没使用网络存储，如SAN等架构时，姚键表示：“用户访问量持续成倍增长，对系统的性能、成本和可扩展性都造成了很大压力。采用DAS存储可以更好地满足对性能的需要。如果采用SAN存储，不仅成本增加会十分明显，而且在系统变得日益庞大时，性能也会出现瓶颈。”

“为了提高用户的访问速度，我们想了很多办法。”姚键表示，“我们甚至都不用RAID。不采用RAID技术，可以节省很大的存储空间，同时减少成本，而且能够提供更好的I/O性能。”据悉，目前优酷网的存储系统利用率都在90%以上。不用 RAID是否会给视频数据的安全带来不良后果？姚键表示：“由于优酷网采用了自建的内容分发网络（CDN）技术，所有视频在不同的城市都有副本，所以不用担心数据的安全性。即使某地的一段视频发生了损坏，用户也可由实时的调度系统引导至其他CDN站点进行视频浏览。在优酷网的内容分发网络中，局部失效不影响整体访问，实际上比存储网络的安全性更高。”

更大范围内的分级存储

自建的调度系统是优酷网实现快速访问体验的核心。优酷网将所有的服务器和存储设备分布在全国20多个CDN站点中，方便当地用户就近访问，以获得更快的视频体验。

不像其他应用可提前计划，互联网访问具有很大的不可预知性，很难预测什么视频在哪段时间的访问会突然增加。因此，实时有效的调度系统就显得非常关键。在网民访问优酷网的视频时，调度系统会根据该视频原本发布所在的位置、用户IP地址等信息安排网民就近访问，并会参考该站点的设备是否出现损坏、该地区是否是访问热点等因素，以便使用户的浏览速度达到最快。正是有了高效的调度系统，优酷网才可以将 90%以上的带宽都提供给用户，而其他CDN系统提供给用户的带宽通常只有70%~80%。

“优酷网所有的视频在一周之内会被用户访问一遍。”姚键说，“因此，优酷网的数据区分在线、离线的意义不大，更不用像其他行业那样要把部分历史数据进行归档处理。”事实上，优酷网对视频信息也会区别对待，只是区分的标准在于访问热度。访问频率高的视频会根据访问用户地址在各CDN站点间重新分布，并且会存放在SAS硬盘上，而冷门视频则会存放在速率稍慢的SATA硬盘上。

用户连线

优酷网CTO姚键

技术是互联网的生命。由于设备急速增加，我们非常在意系统的成本、性能与可扩展性。我们没有使用最先进、最贵的系统，就像Google使用自己的文件系统一样，不在乎贵不贵，而在乎是否合理运用。每台服务器或存储系统配多少块硬盘，文件块的大小为多少，我们都会做详细测试，以实现更佳的性能配置。