西安一码通故障浅析

2022年首个工作日，处于疫情攻坚阶段的西安，刚展开新一轮大规模核酸采集时，西安一码通再次“崩溃”，抗疫工作又一次陷入被动。随后，采用“限流”、建议卸载清缓存等措施，逐步恢复。疫情期间两次大规模故障，造成的巨大影响，让身处西安的人们如同火上烧非常焦灼。因一码通项目公开信息较少，从网上公布的信息，对西安一码通故障进行简析。

临危受命，不孚众望

2020年春，新冠病毒肆虐。在抗疫过程中，“健康码”横空出世，成为科技抗疫的最亮眼的成果之一，各地政府纷纷学习先进经验，建设地区的“健康码”。作为刚进入新一线、有着“硬科技”之都美誉的西安，自然不甘落后，建设西安一码通为核心的疫情联控平台，作为抗疫的重点项目，由西安市大数据资源管理局落实。西安虽高校众多，科研实力强，软件人才众多，大型软件公司多看中西安的人才资源优势，建立研发、外包等业务。在全国各地都在建设时，要抢先落地可供选择的范围其实不多。中国电信西安公司智慧城市项目部敏锐发现机遇，与合作伙伴商讨形成方案，并向大数据局长斩钉截铁的保证，“疫情防控信息化手段必须上!西安电信有能力做到！”。项目交付给西安电信之后，进展顺利，2020年2月16日试点，十天后就正式上线，在短时间高效交付，有力推动西安的抗疫工作。随后一直由西安电信负责西安一码通平台服务保障，其专班技术保障组获得“2021年西安五四青年集体”荣誉，西安“一码通”平台项目荣获“政府信息化管理创新奖”。据说，2021年12月17日，大数据局组织对一码通项目2021年运维验收并经过专家确认，然而一周后就出现重大故障。

生于忧患，死于安乐

一码通项目公开信息较少，网上流传项目费用27万，已经官方辟谣。看似简单只在必要时亮个码的系统，背后咨询规划、持续开发、运维、安全、运营各个环节缺一不可。27万即使全投入最容易忽略的安全方向，连购买安全设备都不够。目前未能从公开资料中查到项目预算等信息，可以通过陕西2020年某市一码通项目做参考，项目要求“完成统一认证平台、统一支付平台、运营监控管理系统、统计分析系统、应用场景设计及开发、安全监控管理系统等功能建设”，预算280万。西安作为省会城市，其一码通项目肯定超过省内其他城市。随着一码通系统推广应用，项目需求变化，由西安电信牵头建设分为业务平台、数据平台、码引擎平台等模块。业务平台是一家成立30年的医疗信息化公司开发，也开发了西安市核酸采集平台；数据平台是一家大型翻译服务及软件公司陕西分公司承担；码引擎为西安本地大数据领头公司；查公开信息，系统在建设中使用安恒的信息安全设备，采购了阿里云的短信服务。

成也“一码通”，败也“一码通”

对于一个大型面向公众的系统，系统使用者可能短时突破千万。一般2B项目需要运营缓慢增长的用户量，2G项目却是三五天内就会达到。应对突发情况、快速解决是此类项目的命根，建设者每一步都必须谨慎克制，一着不慎，将影响千家万户，甚至会对部分群体造成不可挽回的后果。一码通作为西安防疫的抓手，在建设后一直作为主要手段，人到西安，必须使用，否则出行备受影响。截止2021年6月，注册人数2781万人，根据第七次人口普查，西安常住人口约1295万，一码通超过一半是非常驻人口。如此强大的流量入口，更是政府关注的重点，在2021年月，整合进“i西安”，加入西安大数据资产经营有限责任公司运营，将原先单一的防疫用途变成西安市民的窗口，进一步增加功能，扩展使用范围。

千里之堤，毁于蚁穴

IT项目最容易忽视的就是技术，甲方通常会把项目中技术指标标高，乙方在参与时可能认为虚高，项目初期用不到，就会在架构等方面能省则省。对于项目而言，技术却是基础，项目在建设中，需求会不断变化，这些都需要在项目不断完善，满足百万人与满足千万在架构上可能截然不同，甚至推到重来。西安一码通故障，表面是系统无法应对大流量访问，并发大导致系统崩溃，但这个不到2000万量级在国内比较常见。先不说春运抢票等情景，类似一码通在国内东部地区多个城市的访问量是超过的。至于链路堵塞，更是令人错愕，建设方是电信，感觉像大水冲了龙王庙。之前故障，一些网友的分析，提出从业务到技术的优化建议，如拆分应用、剥离功能、限流、CDN、合并请求等。两次故障期间的一码通，发现已经采用一些优化措施。在这次故障时，采用限流等应急手段。然而一番操作加持之下，必要的准备（常见的压力测试等）应都做过，依旧难以根除（相信资金、软硬件资源都不缺）。分析应该在技术架构存在缺陷，短期内项目技术力量无法解决。一码通项目功能不断扩展，系统架构也逐渐复杂，渐渐超出项目技术能力范围。初期快速上线欠的“技术债”，在过程中不断债台高筑，最终多方骑虎难下。如不遇到自此突发的疫情，各方相安无事，奈何时运不济，自身科技不硬，平时练功不足，必然贻误。

不可否认一码通在抗疫过程中发挥的作用，然而在关键时刻，却败下阵来，造成重大影响。在这近两年中，可进行修补的机会很多，尤其是一年前短期故障已敲响警钟，可仍不加强技术能力及应急保障能力，蜜汁自信，可谓“起大早赶晚集”。西安一码通的故障为公共卫生、医疗系统敲响警钟，信息化依旧任重道远。

大数据公共卫生架构 PEST 案例分析信息运维运维管理

最后修改于 2022-01-05