来自第六届上海通信发展年会的特别报道 大数据 大变革 大机遇 大原则 ——运营商纵论未来上海通信产业
2013年6月5日,以“大数据”为主题的第六届上海通信发展年会将在上海举行。值此难得契机,笔者前往该年会准备工作现场,听即将与会的各大运营商代表纵论以大数据为主题的未来上海通信产业。
上海通信发展年会是在国家工业和信息化部、上海市政府的支持下,由上海市通信管理局指导,由上海市通信行业协会、上海市通信学会、上海市互联网协会及中国电信上海公司、中国移动上海公司、中国联通上海市分公司联合发起、主办,并有通信运营、设备制造、软件设计等企业,国内外通信行业研究机构共同参与,至今已连续举办六年。
鉴于该年会的前沿性、高规格、宽视野、深研讨,因此,有关专家学者和实际工作者在该年会上就国内外通信信息技术最新成果、市场方向、发展战略、政策雏形等重大问题所做出的思考、阐述和解读、诠释,历来是业界内外和用户公众所关注的热点之一。而以大数据为主题的本届年会,更以其所释放的强烈信号:即上海通信业领导部门和运营企业对于即将到来的大数据时代的重要研判和重要对策,而更加引人注目。
大数据将引来大变革
大数据,终将形成大变革之力,这是上海联通与会专家的一大判断。
上海电信与会专家则从技术角度解读说,所谓大数据技术,就是让我们以一种前所未有的方式,通过对海量数据进行分析,获得有巨大价值的产品和服务,或深刻的洞见,最终形成变革之力。这就是最常见的大数据4V定义:体量大、多样性、速度快、价值密度低。上海移动与会专家也认为:“大数据”概念即信息处理技术。海量数据存储、数据挖掘、图像视频智能分析,这些都是大数据的重要组成部分。而另外3项信息感知技术、信息传输技术、信息安全技术,也与“大数据”密切相关。上海电信与会专家特别指出,不能把“大数据”概念混同于“数据大”。大数据不仅仅是数据规模的庞大,而且还需要数据的丰富性、多样性和系统性,需要有针对性的数据积累和长期积淀。
也有不少与会专家指出,人们甚至不能把大数据等同于云计算。因为云计算的核心是业务模式,本质是数据处理技术。如果失去对大数据理解和运用,云计算只是“房地产”的代名词。数据是资产,云为数据资产提供了保管、访问的场所和渠道。如何盘活数据资产,使其为社会管理、企业决策乃至个人生活服务,是大数据的核心议题,也是云计算的灵魂和必然的升级方向。
与会专家还一致认为,大数据必然是开放的。这是因为,传统的数据处理是由运算能力非常强、CPU主频非常高的一台机器来完成,因而是相对封闭的。而大数据的类型比较复杂,数据量比较大,具有多个节点,因而只能通过分布式的处理方式,把应用复杂分散到分布式系统的各个节点上,用多个CPU核数来处理,这意味着大数据时代的发展方向将更加具有开放性。
大数据将孕育大机遇
上海联通、电信、移动等方面与会专家几乎一致地认为,随着信息成为企业的战略资产,市场竞争要求越来越多的数据被长期保存。而运营商们每天都会从网络管道、业务平台、支撑系统中产生和获得大量有价值的数据。因此,如能合法、智慧、有效地实现这些数据的商业智能应用,无疑将为运营商以至社会各界带来巨大的机遇。
上海联通的与会专家认为,通过对这些数据的深入挖掘和应用,通信运营商至少可以做三件事情:第一,可以通过用户偏好分析,及时、准确地进行业务推荐和客户关怀,改进产品设计,并通过分析流量、流向变化,调整资源配置,优化网络配置,进而改善用户体验。第二,可以快速准确地确定公司管理和市场竞争策略,助力市场决策行为,提升企业运营效率,促企业资产的进一步保值增值。第三,可以通过业务、资源、财务等各类数据的综合分析,在确保用户隐私不被侵犯的前提下,对数据进行深度加工,对可信第三方提供信息服务,为客户创造更大的价值。
与会专家也一致认为,虽然大数据给运营企业带来了巨大的商机,但是,由于国内运营商对数据应用的新技术研究普遍起步较晚,在创新意识方面相对于移动互联网企业有所欠缺,因此,运营商们普遍面临着一些严峻的挑战,其主要体现在:
在内部硬件上,目前运营商们所拥有的各类系统数据吞吐能力尚有欠缺,其对大数据研究、开发、利用及相关项目设施升级改造的投资,在优先级上要低于网络质量和计费系统等核心系统的水平。
在内部软件上,运营商作为大型国企,其企业组织在地域、业务和IT等维度的条块分割现象比较严重。如其地域上划分为全国、省(直辖市)和地市(区)三个层级,业务部门则划分为政企客户、公众客户、市场营销、客服等多个部门,这些部门之间的互相沟通协作均存在着一定障碍,而大数据应用则往往要求从客户的角度综合统筹各种信息,此对运营商而言管理成本巨大。
在外部关系上,运营商们还有如何界定和规避用户隐私,如何解决用户数据安全,以及如何应对部分互联网企业已捷足先登,提供主机云、数据库云等服务等众多问题亟待处理。
由此可见,大数据背景下的通信运营企业所面对的是挑战和机遇的并存,但更多的是机遇。令人欣喜的是,上海通信业运营商及其合作伙伴们在有关大数据的技术研究和应用方面已被互联网行业抛离的现实情况下,正紧紧抓住有限的时间窗口奋起直追,以避免彻底沦为“管道”的尴尬,真正转型为综合信息服务提供商。
大数据将需要大技术
据与会专家告知,大数据的技术方案需要四个方面的必备条件。
在技术层面上,大数据处理技术种类繁多,包括数据仓库技术、Hadoop、NoSql、流式处理技术等。其中Hadoop作为一个开源的能够对大量数据进行分布式处理的软件框架,近来不断受到业界追捧,谷歌、亚马逊等世界领先的互联网公司也公布了基于Hadoop的成功案例。一些声音甚至表示,Hadoop就等于大数据。
据了解,针对上述发展动向,目前中国联通等国内运营商和一些大型企业已分别开启了Hadoop的大数据探索之路。其中已经先期开展的应用,就是通过采用英特尔硬件平台及英特尔Hadoop相结合的大数据技术,构建上网记录集中查询与分析支撑系统,用以解决以往用户上网记录无法查询的难题。但也应该看到,这种技术不仅需要IT设备的投入,其对人力成本以及对操作人员的技术水平都有相当严格的要求。因此,目前自行开发Hadoop平台的,都是具备一定开发能力的互联网企业,而运营商在这方面并不擅长。
上海移动与会专家也介绍说,目前业界在大数据业务支撑系统方面已经有了很多研究,中国移动也在积极进行研究探索。其技术上的难点,包括如何整合运营商内部已有“烟囱式”的各类经营分析系统,以建设一个开放接口的共享数据平台;还包括如何解决海量数据的采集、存储和安全问题,等等。
用上海联通与会专家的概括来说,未来大数据的技术方案至少应该具备四个条件:一是应该具备数据分析速度优势,在查询效率上比传统系统要有大幅提高;二是应该具备大规模扩展能力,形成数据横向、纵向扩展能力的提升,包括跨服务器数据处理能力的优势;三是应该具备开放架构优势,一方面是对Hadoop的支持与集成,另一方面则是提供各个平台间,甚至需要建立与第三方平台间的自由的传输数据和存储;四是应该具备完善的自我学习能力,以便在海量数据挖掘后,形成不需要人工干预的策略自我归集。
大数据将引来大动作
与会专家指出,目前互联网服务对传统电信运营商业务构成的冲击,至少在理论上可以加速运营商的转型,并催生运营商新的发展机遇和市场空间。而大数据和云计算恰恰就是在这种产业变化的趋势下催生出的新业务,对于运营商来说,这两个领域拥有比传统基础电信业务更大的市场空间。
上海联通的大动作。对于大数据市场的开发,上海联通与会专家提出了通信运营企业由简到难的“四步走”策略:首先,应该开展针对用户消费数据的分析评估,以帮助运营商改善自身服务质量。其次,应该结合用户上网情况及互联网网页内容,为精准行销提供用户行为偏好分析;为联通自身的业务发展提供大趋势及业务竞品分析能力和策略指引。第三,应该从专门行业的应用领域入手,开展专业化大数据产品设计的开发,积累推广经验。最后,应该开展第三方资源整合和跨界合作,构建智慧的大数据体系,加大开放合作力度,与产业链各个环节开展合作,加快对大数据经营商业模式的探索,不断释放其管道中庞大数据的潜在力量,为客户创造更大的价值。
上海联通与会专家介绍说,中国联通目前正在着手对大数据业务进行研究,并已经成立了云数据运营中心,计划依靠该部门,逐步尝试开展大数据业务的运营工作,甚至有计划将该运营中心公司化,使之独立运营,尽快成长。而据笔者了解,2012年中国联通已成功地将大数据和Hadoop技术引入到“移动通信用户上网记录集中查询与分析支撑系统”,并已经部署了4.5PB的存储空间。目前,该系统已经具备了每天处理700亿条上网记录的能力。
上海电信的大动作。与上海联通有所不同,上海电信在同一时期着重抓了大数据基础设施建设,并从数据挖掘和开放这两个层次,大力发展大数据相关业务。例如在基础设施方面,上海电信除建设城市光网等基础设施外,更加关注数据存储和数据分析计算设施的建设,包括IDC服务器托管和云产品。这将为大数据市场的发展,提供坚实充沛的基础设施资源。
据上海电信与会专家透露,该企业将充分发挥IDC运营主力军的特殊作用,按照规划引导、集约建设、资源共享、规范管理、适度超前的原则,加大建设投入,着力增强信息网络综合承载能力、设施资源综合利用能力和信息通信集聚辐射能力,将IDC打造成丰富的信息承载平台、完善的客户服务平台和全面的价值共享平台。为此,上海电信将进一步完善IDC资源布局,在未来3-5年内重点建设几大基地化数据中心,实现IDC业务在地理位置上的分区覆盖,并满足重要客户数据同城异地的备份要求;将继续加强基础设施规划和建设管理,促进机制完善和模式创新,同时注重节能环保和服务提升;将推进“新一代数据中心设计规范”的制定,在符合国际和国家相关行业标准的基础上,结合上海的本地优势,建设规范设计、绿色运营、智能管理的新一代数据中心。
上海移动的大动作。据上海移动与会专家介绍,该企业已拥有超过2千万的用户和海量的用户、业务数据,更拥有一直坚持的以提供优质的客户服务为宗旨的运营理念,以及为实现这一目标而建设的成熟的经营分析,流量经营等系统。依托多年积累的业务、网络和用户数据,电信级的数据中心和成熟的经营分析系统,上海移动在大数据开发应用方面也大有可为。比如,可以在流量经营系统中采集GSM、TD、WLAN三网网络侧运行数据,结合经营分析侧用户、终端和业务方面的数据,对用户上网内容、终端等进行深度分析,从而掌握客户行为等信息,有效支撑网络和业务部门的具体工作,不断提升上海移动的用户满意度和业务价值。目前,上海移动基于用户数据的分析挖掘工作,还主要用于及时发现影响客户感知的网络运营和客户服务领域,以提升业务质量和客户满意度。而为了迎接已经开始到来的大数据时代,上海移动正积极部署通过各类业务和网络运营数据的分析,通过数据驱动业务流程,以培养用户习惯。将来,上海移动将进一步精确洞察数据,从数据成本中心向数据运营中心转变,引入创新业务模式,挖掘行业客户,与合作伙伴开展业务合作,让大数据更多造福于广大用户。
大数据将呼唤大原则
与会代表一致表示,上海运营商将坚决遵循积极完善地保护用户隐私这一大原则。由于运营商所掌握的用户信息是十分精确的数据,而且手机、电话号码也是最为直接的信息传递方式,所以,当运营商进行用户信息拓展的时候,势必要有一个范畴的定义。同时,由于运营商所掌握的信息,不仅仅是用户的身份信息、手机号码等等,甚至连用户的所处位置、通话状态等等都能够获取,这些数据信息对于每一个人都是敏感的。因此,上海通信运营企业将对用户数据提供符合法律法规的高级别的隐私保护,在用户信息保护工作中建立、实行非常完善的规章制度和严格的操作流程,并由安全部门负责检查考核。
不仅如此,在大数据业务的开发中,上海通信运营企业将在技术上采取更加系统全面的方式,对用户隐私进行保护。其中一个重要行动,就是要全面升级客户资料档案库。据了解,目前上海联通的档案库存放标准已达到业界领先水平。另一个措施,就是要不断提高客户资料管理系统的安全保护能力,加强账号管理。据悉,目前上海通信运营企业的网络安全防护水平也已达到国家工业和信息化部所制定的《通信网络安全防护管理办法》的相关规定。为确保用户隐私,上海通信运营企业短信中心系统也将继续实行目前已不留存用户短息内容等原始信息,对垃圾短信的拦截则通过系统设置自动执行等措施,并将采取更加科学完善的技术措施和操作规范,为广大用户提供大数据时代的安全应用环境。