共享+结合 大数据时代几个关键问题剖析

【IT168 评论】大数据时代来临，每个公司都应该重视起数据部门。以前搜集数据没有足够的时间、能力、资源，因而无法获得更多的支撑。因为数据量不够。当我们有了更多的数据，我们看到的东西发生实质的变化，我们以前从来没有看到过这种情形。足够的数据，让我们更好的理解彼此，达到历史绝无仅有的水平。　　大数据的核心在于共享　　大数据之父舍恩伯格说“大数据的核心要义在于共享。”　　我们的各级政府、公共机构汇集了存量大、质量好、增长速度快、与社会公众关系密切的海量数据资源。除了部分分享自用和信息公开外，大部分没有充分发挥数据源作为“生产要素、无形资产和社会财富”应有的作用。究其原因，主要表现在三个方面：　　第一，不愿共享开放。这是一个认识问题，政府部门和公共机构未意识到共享开放价值。另一方面利益分配的问题，有的政府部门和公共机构把自己掌握和获取的数据当做权力和利益，更甚的作为私有财产不愿共享。这造成不同机构之间甚至部门之间都难以实现数据共享。另外，相关法律法规、制度标准相对落后，没有形成管理体系。　　第二，不敢共享开放。由于缺乏严格规范的数据相关法规，从事此项工作人员担心政务数据共享会引起信息安全问题，担心数据泄密失控，对开放有恐惧。　　第三，不会共享开放。这是一个专业化工作。数据封闭、信息孤岛等系列问题均是共享开放不当引起。相反，不该共享开放却为之会带来更大的损失，甚至威胁到国家安全。　　目前，持观望态度为主流。大数据的发展如何真正步入实践，落地操作成为一大问题。　　数据专家对大数据时代解析　　笔者采访了搜狐视频大数据高级工程师李修鹏。癫痫病发作前头会痛吗专家解析：大数据时代的到来，对应“dirve data”类的数据技术和应用，无意是注入了血液和激素，如推荐系统、人工智能、机器学习等，简单来说大数据是一个把钥匙，开启的更多基于大数据为基础，通过机器学习、大规模分布式计算等手段，构建的数据挖掘和人工智能类的应用组成的“智能”时代的到吉林的羊癫疯医院来。　　大数据时代的到来首先我们要构建好的大数据存储，简单来说就是分布式数据仓库的基础架构的搭建和数据存储建模，　　满足大数据时代带来的“智能”时代需求的数据仓库日显重要，如何建立好的数据部门，其实是每个公司都应该重视的问题。聊到数据仓库，简单说传统数据仓库到互联网中基于日志的大数据处理仓库的转变。数据仓库发展两个重要的人物Bill Inmon提出集中式架构和Ralph Kimball提出的总线架构，到目前大数据数据仓库的发展和经验总结，提出的的五层模型(ODS、DWD、DWB/DWS、DM、ST)，其中也是源于数据仓库的需求从支持战略决策到需要支持战术决策的转变，支持更多的“智能”应用。　　在很多公司在有大数据“钥匙”之后 ，都会不断投入围绕大数据的大规模分布式机器学习构建的“智能”化应用开发中，不断去尝试开启的未来更加广阔的天地，这样也带来了关于计算和机器学习等方面的技术的进步，如分布式计算、实时流式计算、深度学习等计算，同样也促使这技术人员的技能转变和市场上人才和需求的供需不平衡。　　迫在眉睫：如今的大数据需要哪种人才?　　(1)大数据系统研发工程师　　这一专业人才负责大数据系统研发，包括大规模非结构化数据业务模型构建、大数据存储、数据库构设、优化数据库构架、解决数据库中心设计等，同时，还要负责数据集群的日常运作和系统的监测等，这一类人才是任何构设大数据系统的机构都必须的。　　(2)大数据应用开发工程师　　此类人才负责搭建大数据应用平台以及开发分析应用程序，他们必须熟悉工具或算法、编程、优化以及部署不同的MapReduce，他们研发各种基于大数据技术的应用程序及行业解决方案。其中，ETL开发者是很抢手的人才，他们所做的是从不同的源头抽取数据，转换并导入数据仓库以满足企业的需要，将分散的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库，成为联机分析处理、数据挖掘的基础，为提取各类癫痫病危害型的需要数据创造条件。　　(3)大数据分析师　　此类人才主要从事数据挖掘工作，运用算法来解决和分析问题，让数据显露出真相，同时，他们还推动数据解决方案的不断更新。随着数据集规模不断增大，企业对Hadoop及相关的廉价数据处理技术如Hive、HBase、MapReduce、Pig等的需求将持续增长，具备Hadoop框架经验的技术人员是最抢手的大数据人才，他们所从事的是热门的分析师工作。　　(4)数据可视化工程师　　此类人才负责在收集到的高质量数据中，利用图形化的工具及手段的应用，清楚地揭示数据中的复杂信息，帮助用户更好地进行大数据应用开发，如果能使用新型数据可视化工具如Sp内蒙古癫痫症状军海砺攻勊otifre，Qlikview和Tableau，那么，就成为很受欢迎的人才。　　(5)数据安全研发人才　　此类人才主要负责企业内部大型服务器、存储、数据安全管理工作，并对网络、信息安全项目进行规划、设计和实施，而对于数据安全方面的具体技术的人才就更需要了，如果数据安全技术，同时又具有较强的管理经验，能有效地保证大数据构设和应用单位的数据安全，那就是抢手的人才　　(6)数据科学研究人才　　数据科学研究是一个全新的工作，够将单位、企业的数据和技术转化为有用的商业价值，随着大数据时代的到来，越来越多的工作、事务直接涉及或针对数据，这就需要有数据科学方面的研究专家来进行研究，通过研究，他们能将数据分析结果解释给IT部门和业务部门管理者听，数据科学专家是联通海量数据和管理者之间的桥梁，需要有数据专业、分析师能力和管理者的知识，这也是抢手的人才。　　总结：　　凡事有利弊。打开窗，收获的不只新鲜空气，还有苍蝇和蚊虫。大数据开启了一个大规模生产、分享和应用数据的时代，它给技术和商业带来了巨大的变化。在大数据时代背景下，如何从大数据中采集出有用的信息已经是大数据发展的关键因素之一。