1000亿级记录的数据存储之道

一些IT经理会对处理1000亿级记录的数据存储津津乐道，不过快速扩张的纽约证券交易所已经拥有了这样一个系统。

七年前，该证券交易所开始和商业智能专业公司1010data合作，为该交易所的海量用户提供大量的市场数据，该交易所现在拥有的信息数量大得惊人。

纽约证券交易所Euronext的数据产品副总裁Mark Schaedel表示，“我们有北美所有交易所的历史交易和报价数据，其中也包括纳斯达克的数据。” Mark Schaedel表示，经常会有7亿5000万条新记录会在一天之内进入这个系统，他表示，“我们还有自己的交易、执行以及订单信息，这些信息来自纽约证 券交易所以及我们在三年前收购的Archipelago Exchange。”

纽约证券交易所似乎正筹划着一系列的收购行动，该机构在2006年花了200亿收购了欧洲交易所的Euronext网络，并且已经和印度及巴西的证券交易所展开合作。

Schaedel表示，“该平台还能够支持这些交易所的类似数据。”他还表示纽约证券交易所的客户能够通过该机构的NYXdata.com网站或者它的FTP服务器访问该存储系统。他还表示，“在我看来，我们在需要的时候，拥有无限潜力。”

目前15TB的存储容量包含了六台直接连接的戴尔服务器，这些服务器都直接连接到SAS存储上。1010 Vision是1010data公司开发的一款软件工具，该工具运行在整个存储系统之中，可以同时分析多个数据流。

1010data 公司的业务发展副总裁David Frankel表示，“这形成了一个网格，请求可以并行，这种做法让平常的硬件能够以很高的效率运行。” David Frankel还表示，“使用普通的硬件架构非常有好处，我们可以在需要的时候随意增加硬件。”

Frankel表示，直连存储也提供了更高的可靠性。

他表示，“SAN之类中央存储的关键在于管理上的优势，但是如果你需要专用的话，并且希望确保单台服务器的性能，这种模式就不是非常合适了。”他还表示，“每台服务器都有自己专用的带宽连接到它所依赖的存储系统上。”

纽约证券交易所的Schaedel对Byte and Switch表示，数据存储方面下一个大项目将是同Euronext的数据整合，其中“相当一部分”数据已经进入这个系统了，不过还只供内部使用。

他表示，“我们从一些内部数据着手，这样我们的管理层更为深入地能够了解全球市场的情况。”他还表示，“在适当的时候，1010 data公司将对Euronext以及我们收购的任何伙伴的数据提供支持，这是我们全球扩张计划的一部分。”

尽管数据存储是由1010data公司提供远程管理的，纽约证券交易所却和该厂商其他的客户采用了不同的做法：他们将硬件保留在自己的数据中心之中。

他暗示了金融领域严格的法律规定，并且表示，“这种做法意味着任何数据都可以以安全的方式存放在数据中心之中，而且这些数据全球都可以访问。”他还 表示，“数据中心位于纽约证券交易所的防火墙之后，我们用于访问数据的API很安全——只有某些特定类型的数据可以通过API进行访问，哪些数据类型可以 访问取决于我们的安全模式。”

虽然Schaedel不会透露该证券交易所和1010data公司之间合约的具体金额，他还是透露了选择半管理服务背后的原因。

他表示，“管理数据不是我们的核心业务——维护这样的历史数据存档需要特殊的专业技能。”他还表示，“这确实简化了我们的业务，让我能够更专注于员工和资源管理。”

转载：感谢您对网站平台的认可，以及对我们原创作品以及文章的青睐，非常欢迎各位朋友分享到个人站长或者朋友圈，但转载请说明文章出处。