ce·控领域专业互动媒体平tai
推动ce试ce量,检cezhen断,传感物lian,遥ce自控智能化发展
dang前位置:CK365ce控网 > 论文 > 应用技术 >

2017-07-28 11:09:31

[导读] 计算机技术经历了并行计算、集群/分布式计算、网ge计算祋ue⒄梗?衷趛i步入云计算时dai。20shi纪80年dai,升yang(Sun Microsystems)提出了“网络式电脑”NC概nian,21shi紅ong酰珹mazontong过打包、自zhu服wu等业wu出租其ITshe备,并qude了空前的成功。随着云计算an例的成功,其影响力也zheng在zhu步展开。ben文阐述了从兴技术云计算在电信级系tong海量ri志管li的she计fangan,望抛砖引玉。

zhai要

计算机技术经历了并行计算、集群/分布式计算、网ge计算祋ue⒄梗?衷趛i步入云计算时dai。20shi纪80年dai,升yang(Sun Microsystems)提出了“网络式电脑”NC概nian,21shi紅ong酰珹mazontong过打包、自zhu服wu等业wu出租其ITshe备,并qude了空前的成功。随着云计算an例的成功,其影响力也zheng在zhu步展开。ben文阐述了从兴技术云计算在电信级系tong海量ri志管li的she计fangan,望抛砖引玉。

zheng文

随着tong信技术的不断发展,用hu对xin业wu的xu求yi及对服wu质量的要求也不断提升。tongxun运营商xu要shi应xin衱en降囊?螅?匦胱龀鱿嘤Φ牡髡?H鐈i前的离线紁in焉?段?谙遱hi时紁in宣又或zhe升级xin的tongxunshe备,等祋uS纱薲ailai了一项xin的挑zhan,即xin环jingchan生大量的yi莂n粃eng有过的ri志,并dailai相关的wen题,如:ri志文件分散存放,数量多,可直接查阅ri志文件保存周期短,ji不便于运维;ri志ge式不一致,可阅读性过低;查询费时或超时,效聅hi拖聋相关ri志的关lian性低,无法清晰ding位;大量的ri志无法tong计,无法准que的分xi业wu;

由于相关法规、政策或商业上的要求,运营商无法回biyi上wen题,必须保留、查询、分xi处li这些大数据。ji于关系型的传tong数据库无法manzuxin衱en较碌囊?螅?有思际跗窘枳陨碓趖ongxun行业的经验与优势,依托云计算技术,建she了一ge高效的tong用云计算平tai,将ri志管li系tongzuo为云平tai的一ge业wu系tong建she。这样she计的最大优势是业wu系tongzuo为上层应用,具备liang好的扩展性和可秞un?裕琺anzu信息的交换和处li,bi免信息系tong烟囱式的发展。

 

从兴SKCP(Smart Keen Cloud Platform)ji于HDFS、M/R和Cassandra为核心的SK-Hadoop功能和SK-Store功能;yiFlume为ji础的SK-Pipe系tong具备了高效的shi时cai集功能;pei合SK-DETL分布式的ETL的任wushe计、调度等功能,可shi现ri志数据的高效ETL.强大的qi业管liqi(SK-Admin)能对平tai、节点、任wu进行jian控和管li祋uⅫ/p>

ji于SKCP的ri志管li系tong的主要功能架gou如下:

 

cai集子系tong提供了pi量cai集和shi时cai集功能。pi量cai集将系tong各模块ri志文件按目录cai集dao相应的目录謝iao瑈i便入库。shi时cai集将系tong模块zheng在chan生ri志文件shi时传输daori志云平tai。ri志cai集zhichi对cai集文件进行压suo,减轻网络传输压力。zhichi对海量的小pi量cai集文件进行合并处li,yi提高入库效lv

ri志云平tai提供了程序发布和运行管li、系tong资源jian控;并提供ri志云平taiding时任wu,如数据清li或数据迁移祋u?i志云平taizhichilian机在线下的xin节点加入或tui出。

ri志分xi模块cai用XML文件pei置fang式,zhichi文件名称的匹pei和字段解xi匹pei,具备灵huo的讁uan▂i功能。

ri志入库模块提供ji础调度功能,按zhao业wu的要求将数据加载dao云平tai謝iao瑉hichi霍fu曼压suo算法,zhichi多节点的分布式入库。

 

页面查询展示根据请求查询云平taidedao相应的数据,并返回去前tai展现。zhichi均衡fu载,减shao单ge节点上的fudan。

系tong部shu逻辑图:

 

系tong完成部shu并成功试商用。系tongfu载量为:业wu系tong每tianri志总量约为2.8 T,按1:6的压suo比lai计算,压suo后每tian的ri志量约500Gzuoyou;单节点入库速度平均10M+每秒;平均压suo比为2.5:1,数据冗余系数2;数据平均存储周期1+1geyue,目前she计存储容量为40T,不使用磁盘阵列集zhong存储。

从shi际运衳ing榭鰇ao虑,ji于从兴技术云平tai的ri志管li系tong,cai用成shu的技术,更低的成ben、更高的业wu效lv,提供了完整的海量ri志解决fangan。

[整li编辑:CK365ce控网]
标签:  计算机技术[1]    云计算[5]    数据zhong心[0]
 

版权与免ze声明:

①凡ben网注明"lai源:CK365ce控网"的所有zuopin,版权均属于CK365ce控网,转载请必须注明CK365ce控网 www.ck365.cn。违反zheben网将追jiu相关法律ze任。
②ben网转载并注明自其talai源的zuopin,目的在于传递更多信息,并不dai表ben网赞同其guan点或证shi其内容的真shi性,不承dan此类zuopin侵权行为的直接ze任及liandaize任。如其ta媒体、网站或ge人从ben网下载使用,必须保留ben网注明的"稿件lai源",并自fu版权祋ue?蓏e任。
③如涉及zuopin内容、版权等wen题,请在zuopin发表之riqi一周内与ben网lian蟙an?裨蚴游?牌?喙厝ɡ?

注册成为CK365ce控网会员

可yi无xu任何费用浏lan专业技术文章

 
 
注册CK365ce控网会员yi便浏lan全文