这几天,大家都在关注日本电信运营商KDDI的大规模通信故障。
(资料图片)
这个故障影响很大,涉及到日本全境范围,共3915万用户。而且,故障持续的时间很长,差不多花了两天,才算基本恢复。
故障的具体原因,我看到很多公众号都已经写了,我就不再重复分析了。
今天这篇文章,我想把话题放大一点,和大家深入聊聊——都2022年了,为什么我们的通信网络还有这么多故障,以及,我们到底有没有终极解决方案。
通信故障:一场持续百年的博弈故障是通信网络的天然属性。就像人会生病一样,通信网络自诞生以来,就伴随着故障。或者说,我们就是在解决故障的过程中,才创造了通信网络。
贝尔老爹在解决了无数故障后,才发明了电话
一百多年来,无数的通信人,都在与故障进行坚持不懈的斗争和博弈。他们努力研发了各种技术,采用了各种手段,和通信故障抗争。
从宏观上来说,抗争的效果是显著的。在经验的不断积累下,在工艺和技术的不断进步下,通信网络发生故障的概率在不断下降。
年轻的读者可能并不知道,20多年前,固定电话拨不通(有电话的家庭都不多),和停水停电一样,是常见现象。10多年前,手机拨不通,上网上不去,也是常见现象。
近十年来,这些现象变得越来越少见。偶尔发生一次,大家反而会觉得很奇怪。网络断了,很多人的第一反应是手机坏了,或者欠费了,赶紧重启或充值。不是吗?
我们现在所处的信息社会,通信网络和水电一样,是重要的基础设施。我们的工作和生活,还有各行各业的运转,都离不开通信网络。
在这样的前提下,通信运营商作为国企,作为网络的建设和维护者,会始终把网络的安全稳定放在第一位。
针对网络稳定,工信部给运营商们设定了严格的考核指标。如果某省某市出现了网络故障,一把手肯定要担责,仕途堪忧。
运营商领导的压力,会传递到员工身上,也会传递到设备商和外包商身上。
现在市场竞争如此激烈,一旦出事,要么就是巨额的赔款,要么就是丢掉这个省的市场份额,这是设备商和外包商无法承受的损失。
所以说,整个通信行业对于通信网络的安全稳定,重视度肯定是足够的。关键,还是能力和执行的问题。
通信网络的弱点,究竟在哪?首先,我要和大家说一下通信网络的安全级别定义。
根据场景不同,通信网络的安全分为不同等级。从低到高,分别是家庭级、企业级、电信级。
通信系统的安全等级
像我们家里用的路由器什么的,都属于家庭级。这种设备的安全性可靠性很低,说坏就坏,很容易导致网络中断。
企业级呢,就是单位里面用的网络设备。根据网络规模和用户数量,企业级设备有较高的安全性可靠性,不太容易中断服务。
电信级的要求,就更高了。像移动、电信、联通,它们的网络,要为上亿的用户提供服务,绝对不允许轻易出现故障。通常来说,电信级的可靠性,要达到5个9以上的标准。
今天小枣君说的通信网络,指的就是运营商面向公众的公共通信网络,既包括蜂窝移动通信网络,也包括固网宽带网络。它们都属于电信级。
蜂窝移动通信网络和固网宽带网络的架构其实是类似的,主要区别在于接入网部分。
蜂窝移动通信网络是无线接入网,接入设备是基站。而固网宽带网络是有线接入网,接入设备是PON设备(无源光网络设备,包括光猫)。
我们就以蜂窝移动通信网络为例,进行分析。
公共通信网络,服务的是数以亿级的用户群体,所以,通常会采用金字塔级的架构,核心网为核心,传输网(承载网)为骨干,接入网为四肢。
大家一眼就能看明白,这种架构,最大的弱点,就在于核心网和传输网(尤其是骨干网)。
核心网是管理中枢,是网络的心脏和大脑,一旦挂了,就整个网络挂了。所以,核心网工程师(比如当年的我)是风险和压力最大的岗位。
核心网机房
传输网(承载网)呢,是通信网络的血管和神经。末梢还好说,坏了最多影响一小块,但是,如果心血管和脑血管坏了,怎么办?那也是彻底瘫痪。
光传输设备
这次KDDI发生的故障,还有2021年10月DoCoMo发生的故障,以及2020年英国四大运营商的故障,2020年美国CenturyLink的故障,都和核心路由器有关。说白了,就是心脑血管出了问题,整个人(网络)就瘫了。
相比之下,接入网这边出大问题的概率很低。个别基站“掉站”,最多影响几百几千人,范围很小,投诉可控。
基站设备
如果接入网出现大规模故障,那极有可能是设备商的软件版本问题,或者硬件批次问题。这种情况的概率极低。
为了防范故障,通信人都做了些什么?那么,为了保证通信网络的安全平稳运行,防范故障的发生,我们通信人都采用了哪些办法呢?
(1) 首先,是顶层架构设计的完善。
网络的架构,是网络安全之本。一个好的架构,既要考虑性能和容量,也要考虑成本,还要考虑安全和冗余。
这里请大家务必记住一点:通信设备作为一个复杂的产品,不管你怎么设计或堆料,它都存在故障的可能,只是概率高低、时间早晚的问题。
对于可能出现的故障,与其严防死守,不如重点考虑发生故障之后,该怎么办。
所以,引入备份机制,是应对故障最有效的手段。
备份机制
大家都学过“概率与统计”,1个设备出现概率的故障如果是1%,那么,两个设备同时出故障的概率,就是1%×1%=0.01%。没错吧?
为了保证绝对的安全,网络架构设计时,会采用POOL(池)组网的方式,如下图:
好几个设备共同组成池子(POOL),各自负责业务,如果有一个坏了,其它的立刻顶上,保证业务不受影响。
核心设备,通常有两个或两个以上,分别在省会城市的不同区域,物理上就离得很远。
此外,在做网络架构设计时,重要的设备网元通常会放在安全级别更高的核心机房。
核心机房
例如,移动通信网络里面最最最重要的、负责存储和管理用户数据的HSS(就是以前的HLR,里面有每个用户的手机号码、鉴权数据、业务信息等),就存放在省会城市的核心机房。同时,维护人员会定期进行数据的物理异地隔离备份。
这几年,因为地质灾害,加上战争或恐袭等因素考量,运营商甚至开始做异省份的备份。
例如,去年郑州洪灾,当时核心机房被淹,HLR退服,就紧急启用了放在邻近省份省会城市的HLR,实现业务的临时恢复。
不同的容灾级别
(2) 第二个办法,底层的主备机制。
刚才我们说的是顶层设计的冗余机制。具体到机房、机架、单板、线缆,也都有主备的设计,可以称之为底层的主备机制。
如果去过机房,你就会发现,机柜上的机框,插着各种各样的单板。而这些单板,基本上都是成对出现的。
某厂家3G设备正面外观
也就是说,某一类型的单板,通常都会有两块。
网线和光纤也是一样,你几乎看不到单根的线缆,都是成对的。
某厂家4G设备正面外观
这样做的原因,就是为了互相备份。如果某块单板坏了,那另一个单板就能继续工作,保证业务不受影响。同时,系统会进行报警,提醒工作人员尽快更换。
电源也是一样,电信机房所有机柜设备,肯定都有至少两路电源输入。
多路电源输入(一红一蓝为一路)
除了市电以为,重要机房还会设置蓄电池、UPS、发电机等应急供电设备。
机房的蓄电池组
(3) 第三,完善的管理制度和法规。
技术永远都不是影响网络安全稳定的唯一要素。对通信网络威胁最大的,其实是人,而不是技术。
对于这一点,小枣君相信每一个通信人都会有相同的感受。
在管理流程和制度方面,在工程技术规范方面,我们有过无数次血的教训。
为什么升级方案要反复评审?为什么工程规范要那么严格?为什么要建立备件仓库?为什么割接步骤要double-check,甚至triple-check?为什么重大操作后要安排值守?为什么重要节假日要封网?……
这些都是前人踩雷总结下来的经验。
对网络故障,要时刻保持敬畏之心
除了内部管理制度和流程标准之外,针对现在经常发生的通信网络蓄意破坏事件,国家也建立了越来越严格的法律法规,进行处罚。
像非法施工铲断光纤、蓄意破坏基站、剪断光纤,都将受到法律的制裁。
被恶意剪断的基站馈线
通信故障背后的深层次原因有合理的网络架构设计,有齐备的主备机制,又有完善的制度和规范,为什么还会发生这么多故障?
接下来,我来说点深层次的原因。
首先第一点,估计也是大家最认同的一点,那就是通信行业的内卷环境。
这些年,恶意竞争、低价中标盛行,设备商和分包商既要抢单,又要维持利润,只能拼命压低成本,比如产品设计成本、用料成本、施工材料成本。更主要的是,人员工资成本。
成本不断压缩,势必影响产品可靠性以及工程质量。过低的工资,导致大量经验丰富的人才流失。分包商为了完工,只能招聘应届生,简单培训(甚至没有培训)之后,派到现场干活。
这些人员缺乏必要的培训和实践,素质水平和技术能力不足,成为很大的风险点。
有些极个别素质低的,被压迫狠了,直接删库跑路,也不是没有可能。
前些年,为了确保一线员工不被克扣待遇,有厂商甚至和分包商签订合同,约束外包员工的收入底线。
除了低价竞争之外,影响网络运行安全的另一个重要因素,是不断增加的技术复杂度。
越先进的技术,复杂度越高,可靠性越低。随着技术的演进,运营商的网络规模变得越来越大,组网也越来越复杂,出现问题的概率大大增加。
通信网络的潮汐效应是非常明显的。闲时和忙时有时候会有十倍甚至百倍的差异。如果出现意外事件(灾害等),话务量激增,更可能是千倍的差异。
运营商不可能做千倍的冗余设计。所以,如果没有合理的旁路设计或阈值设计,网络出现拥塞的概率是极高的。(这几年的几次重大故障,都有信令流量拥塞的因素。)
目前运营商的复杂组网,自己都没几个人能完全看懂。时间久了,人员一流动,就更陌生了。
通信网络本来就是一门玄学,问题千奇百怪,谁敢说自己能算准每一种可能性?
第三个潜在的网络安全风险,也是小枣君最担心的风险,那就是外部的网络攻击。例如黑客、病毒和系统漏洞。
如今,通信设备基本上都IP化、云化了,网络越来越开放,也有的直接部署在公有云上,和外界的物理隔离越来越弱,比以前更容易受到攻击。
现在的攻击者,水平也比以前高很多,手段也更加多样化,对网络的威胁极大。
当然,运营商和设备商在防范网络攻击方面,投入也很大。
现在,所有厂商都关注“安全加固”这个概念。顾名思义,安全加固就是封堵系统漏洞,使得系统更加稳固。运营商会采用第三方工具,或聘请第三方厂家,对现网设备进行安全扫描,寻找安全漏洞,然后要求设备商进行整改和封堵。
一切为了安全
这种“道高一尺,魔高一丈”的博弈,会长期持续下去。
但是,小枣君个人认为,目前防御的一方,在人员安全意识、技术能力方面,都存在很大问题。后续,我们遇到的安全事件,会越来越多。
希望有关单位和部门不要把安全放在嘴边,真正花点功夫提升自己的人员素质,加强培训。不然真出了事,补救就太迟了。
最后的话日本KDDI的故障不是第一次,也肯定不是最后一次。通信网络故障,就像击鼓传花,谁也不知道自己是不是下一个。
现在,厂商们都提出要引入AI,让人工智能来接管网络,以此降低网络的故障率。也有的厂商,在网络云化的基础上,搞灰度升级(即局部升级),也能大幅降低网络风险。这些都是好的趋势。
我觉得,在与通信网络故障进行斗争的道路上,我们还有很长的路要走。路漫漫其修远兮,通信人当上下而求索。
好了,以上就是今天文章的全部内容。
X 关闭
X 关闭
- 1转转集团发布2022年二季度手机行情报告:二手市场“飘香”
- 2充电宝100Wh等于多少毫安?铁路旅客禁止、限制携带和托运物品目录
- 3好消息!京东与腾讯续签三年战略合作协议 加强技术创新与供应链服务
- 4名创优品拟通过香港IPO全球发售4100万股 全球发售所得款项有什么用处?
- 5亚马逊云科技成立量子网络中心致力解决量子计算领域的挑战
- 6京东绿色建材线上平台上线 新增用户70%来自下沉市场
- 7网红淘品牌“七格格”chuu在北京又开一家店 潮人新宠chuu能红多久
- 8市场竞争加剧,有车企因经营不善出现破产、退网、退市
- 9北京市市场监管局为企业纾困减负保护经济韧性
- 10市场监管总局发布限制商品过度包装标准和第1号修改单