武陟| 理县| 平乡| 卓尼| 富拉尔基| 曲江| 赵县| 芜湖县| 阳朔| 胶南| 墨竹工卡| 平鲁| 柳河| 沿河| 兴国| 闵行| 平远| 建平| 长顺| 富裕| 西华| 淇县| 东川| 潢川| 南通| 沧源| 巴里坤| 渭南| 水富| 陇西| 新丰| 阿城| 湘乡| 武穴| 全椒| 元谋| 宝清| 兴仁| 德钦| 江安| 丰台| 兴国| 堆龙德庆| 凤冈| 和顺| 张掖| 枣阳| 峨边| 新兴| 绥中| 亚东| 沈阳| 头屯河| 延安| 定边| 魏县| 馆陶| 五寨| 江孜| 九龙| 三江| 曾母暗沙| 新会| 偏关| 丘北| 孟连| 松桃| 黎平| 邯郸| 松江| 武平| 湘阴| 寿宁| 陆良| 甘德| 宁陕| 靖安| 津市| 阳西| 镇赉| 龙陵| 什邡| 固镇| 盐都| 莎车| 信丰| 武功| 明光| 西峡| 青川| 路桥| 郓城| 博野| 抚远| 商城| 左贡| 王益| 章丘| 太仆寺旗| 汕头| 新洲| 牙克石| 宁都| 连城| 苍溪| 顺平| 肇东| 东光| 庐山| 宁德| 东兰| 屏东| 昌图| 类乌齐| 宣威| 兴和| 德保| 东安| 琼结| 天祝| 友好| 双江| 永和| 昌乐| 合川| 临武| 瑞丽| 庆阳| 河口| 寻乌| 武安| 沙雅| 南木林| 泗阳| 海丰| 即墨| 舒城| 贵州| 和龙| 塔河| 灵川| 台南市| 茄子河| 惠民| 邹平| 乌恰| 商都| 青铜峡| 泸水| 怀柔| 宁远| 昌都| 紫阳| 京山| 全椒| 武清| 内丘| 尉氏| 巩留| 山亭| 镇远| 双流| 安顺| 大同市| 洪江| 弓长岭| 安平| 永泰| 儋州| 蚌埠| 旅顺口| 浮梁| 揭西| 昆山| 澎湖| 乌尔禾| 峡江| 白城| 马龙| 木里| 建昌| 榕江| 双鸭山| 莘县| 澄城| 冷水江| 宁波| 和平| 蛟河| 玛曲| 台前| 江安| 大关| 马尔康| 从江| 阿坝| 新源| 阳朔| 香格里拉| 莱州| 礼泉| 歙县| 文县| 桃江| 大荔| 安溪| 罗源| 泰兴| 波密| 德昌| 恭城| 蓬安| 萨迦| 双城| 山东| 双江| 新绛| 镇原| 万安| 兰溪| 宁陵| 哈密| 禹城| 井研| 尚志| 花莲| 乌拉特前旗| 麻城| 南宁| 宜阳| 永安| 云安| 灌云| 金昌| 澄城| 安塞| 覃塘| 南通| 从江| 深泽| 常山| 凤阳| 镇江| 竹溪| 乐清| 光山| 称多| 安庆| 迁西| 紫云| 永泰| 济源| 饶河| 泗水| 永清| 南皮| 洛阳| 黄骅| 独山| 铁山港| 鹿泉| 绍兴县| 修水| 蕲春|

时时彩精准预测软件app:

2018-11-15 08:49 来源:凤凰网

  时时彩精准预测软件app:

  自由贸易的好处在于,能够最富效率地对进行配置。  中国国际经济交流中心副理事长兼秘书长在主旨发言中指出,近年来,中国的城镇化飞速发展,50万人口以上的城市,中国已占全球的1/4,以后这个数字还会提升到1/3。

根据美国国内一份民调,半数美国人反对提高钢铝产品关税。同时,我们有些新兴产业本来还需要一段时间的保护才能更有效应对来自美国的竞争,只是因为与美国谈判妥协而开放了市场;在这场贸易战中,我们可以重新暂停向美国企业开放该产业市场,直至美国政府与我方达成协议为止。

  确定登录名是否带.blog。贸易战不是好事,但任何事物都有两面性,贸易战也不例外。

  某政府当局者称“虽然基本上是美中问题,但对对抗措施激化感到担忧”。海外视野,中国立场,登陆人民日报海外版官网——海外网或“海客”客户端,领先一步获取权威。

  “环球总评榜城市榜”由环球时报调查中心担任支持,并结合境内外各领域专家的见解得出,数据搜集与分析贯穿2016年全年。

  在蓉欧+战略推动下,中欧班列(蓉欧快铁)已经成为中欧之间成本最低、速度最快的通道之一,成都的市场辐射能力拓展到欧洲大陆和泛亚地区,正加快带动贸易发展、服务业提升、产业聚集和国际产能合作,目前格力、联想、等企业正加速向成都转移适欧产能。

  反控枪游行者队伍大约有几十人,他们将枪支别在腰间,向参与控枪游行的人表示他们的持枪权不受影响,与他们争辩美国宪法第二修正案中的携带武器的权利。但是考虑到安全问题,没有证据表明它曾用在客机上。

  (责任编辑:陶海玲HF003)

  只有推荐过的博文才有这个图章。据凤凰网援引华尔街日报的报道称,美国公司称中国履行了承诺,但态度不够积极。

    城市代表、成都投促中心副主任庞文中给大家分享了成都的经验,他指出,成都在成为西部重要的经济中心、经济总量位居全国主要城市第八位、综合能力位居中西部第一的基础上,还有很大的发展空间、面临很强的发展机遇:建设国家中心城市的定位,极大形成了成都在国家战略布局中的地位。

  ”土耳其阿纳多卢国营通讯社也有类似的报道。

  特朗普上任以来,不断采取了一系列措施来改变美国贸易逆差的不利局面。“继续高举和平、发展、合作、共赢的旗帜”,坚持走和平发展的道路、奉行互利共赢的开放战略;“继续积极维护国际公平正义”,让世界上的事情由各国人民商量着办;“继续积极推进‘一带一路’建设”,加强同世界各国的交流合作;“继续积极参与全球治理体系变革和建设”,为世界和平与发展作出新的更大贡献。

  

  时时彩精准预测软件app:

 
责编:
  
测·控领域专业互动媒体平台
推动测试测量,检测诊断,传感物联,遥测自控智能化发展
当前位置:CK365测控网 > 论文 > 应用技术 >

基于云计算技术的日志管理系统

这不仅有利于西方人理解中国理论,也有利于中国理论的海外落地。

2018-11-15 11:09:31

[导读] 计算机技术经历了并行计算、集群/分布式计算、网格计算等发展,现在已步入云计算时代。20世纪80年代,升阳(Sun Microsystems)提出了“网络式电脑”NC概念,21世纪初,Amazon通过打包、自助服务等业务出租其IT设备,并取得了空前的成功。随着云计算案例的成功,其影响力也正在逐步展开。本文阐述了从兴技术云计算在电信级系统海量日志管理的设计方案,望抛砖引玉。

摘要

计算机技术经历了并行计算、集群/分布式计算、网格计算等发展,现在已步入云计算时代。20世纪80年代,升阳(Sun Microsystems)提出了“网络式电脑”NC概念,21世纪初,Amazon通过打包、自助服务等业务出租其IT设备,并取得了空前的成功。随着云计算案例的成功,其影响力也正在逐步展开。本文阐述了从兴技术云计算在电信级系统海量日志管理的设计方案,望抛砖引玉。

正文

随着通信技术的不断发展,用户对新业务的需求以及对服务质量的要求也不断提升。通讯运营商需要适应新形式的要求,必须做出相应的调整。如以前的离线计费升级为在线实时计费;又或者升级新的通讯设备,等等。由此带来了一项新的挑战,即新环境产生大量的以前不曾有过的日志,并带来相关的问题,如:日志文件分散存放,数量多,可直接查阅日志文件保存周期短,极不便于运维;日志格式不一致,可阅读性过低;查询费时或超时,效率低下;相关日志的关联性低,无法清晰定位;大量的日志无法统计,无法准确的分析业务;

由于相关法规、政策或商业上的要求,运营商无法回避以上问题,必须保留、查询、分析处理这些大数据。基于关系型的传统数据库无法满足新形式下的要求,从兴技术凭借自身在通讯行业的经验与优势,依托云计算技术,建设了一个高效的通用云计算平台,将日志管理系统作为云平台的一个业务系统建设。这样设计的最大优势是业务系统作为上层应用,具备良好的扩展性和可堆叠性,满足信息的交换和处理,避免信息系统烟囱式的发展。

 

从兴SKCP(Smart Keen Cloud Platform)基于HDFS、M/R和Cassandra为核心的SK-Hadoop功能和SK-Store功能;以Flume为基础的SK-Pipe系统具备了高效的实时采集功能;配合SK-DETL分布式的ETL的任务设计、调度等功能,可实现日志数据的高效ETL.强大的企业管理器(SK-Admin)能对平台、节点、任务进行监控和管理等。

基于SKCP的日志管理系统的主要功能架构如下:

 

采集子系统提供了批量采集和实时采集功能。批量采集将系统各模块日志文件按目录采集到相应的目录中,以便入库。实时采集将系统模块正在产生日志文件实时传输到日志云平台。日志采集支持对采集文件进行压缩,减轻网络传输压力。支持对海量的小批量采集文件进行合并处理,以提高入库效率

日志云平台提供了程序发布和运行管理、系统资源监控;并提供日志云平台定时任务,如数据清理或数据迁移等。日志云平台支持联机在线下的新节点加入或退出。

日志分析模块采用XML文件配置方式,支持文件名称的匹配和字段解析匹配,具备灵活的自定义功能。

日志入库模块提供基础调度功能,按照业务的要求将数据加载到云平台中,支持霍夫曼压缩算法,支持多节点的分布式入库。

 

页面查询展示根据请求查询云平台得到相应的数据,并返回去前台展现。支持均衡负载,减少单个节点上的负担。

系统部署逻辑图:

 

系统完成部署并成功试商用。系统负载量为:业务系统每天日志总量约为2.8 T,按1:6的压缩比来计算,压缩后每天的日志量约500G左右;单节点入库速度平均10M+每秒;平均压缩比为2.5:1,数据冗余系数2;数据平均存储周期1+1个月,目前设计存储容量为40T,不使用磁盘阵列集中存储。

从实际运行情况考虑,基于从兴技术云平台的日志管理系统,采用成熟的技术,更低的成本、更高的业务效率,提供了完整的海量日志解决方案。

[整理编辑:CK365测控网]
标签:  计算机技术[1]    云计算[5]    数据中心[0]
 
[ 论文搜索 ]  [ ]  [ 好友分享 ]  [ 打印本文 ]  [ 关闭窗口 ]  [ 返回顶部 ]

版权与免责声明:

①凡本网注明"来源:CK365测控网"的所有作品,版权均属于CK365测控网,转载请必须注明CK365测控网 www.ck365.cn。违反者本网将追究相关法律责任。
②本网转载并注明自其它来源的作品,目的在于传递更多信息,并不代表本网赞同其观点或证实其内容的真实性,不承担此类作品侵权行为的直接责任及连带责任。如其他媒体、网站或个人从本网下载使用,必须保留本网注明的"稿件来源",并自负版权等法律责任。
③如涉及作品内容、版权等问题,请在作品发表之日起一周内与本网联系,否则视为放弃相关权利。

注册成为CK365测控网会员

可以无需任何费用浏览专业技术文章

 
 
注册CK365测控网会员以便浏览全文
 
 
紫薇大道街道 花市 红树林花园 宝鸡市商贸学校 小辛庄乡
青山村 后坑村 延安市 天堂乡 栗子坪