商业智能与大数据应用
信息来源：深圳市易捷网络科技有限公司
信息发布时间：2024/12/22
BI商业智能与大数据应用的区别；
BI（BusinessIntelligence），即商务智能，它是一套完整的解决方案，用来将企业中现有的数据进行有效的整合，快速准确的提供报表并提出决策依据，帮助企业做出明智的业务经营决策。
伴随着BI的发展，ETL，数据集成平台等概念相继提出。ETL（ExtractionTransformationLoading），即数据提取、转换和加载，数据集成平台主要功能对各种业务数据进行抽取和相关转化，以此来满足BI、数据仓库对数据格式和内容挖掘的要求。
1数据集成平台
数据集成平台的基础工作与ETL有很大的相似性，其主要功能是实现不同系统不同格式数据地抽取，并且按照目标需求转化成为相应的格式。数据集成开始是点对点的，慢慢地发现这种模式对于系统之间，不同所有权的企业数据流向以及数据标准控制很难，为此，诞生了对统一企业数据平台的需求，来实现企业级之间的数据交互。
数据集成平台就像网络中的Hub，可以连接所有应用系统，实现系统之间数据的互通有无。数据集成平台以BI、数据仓库需求而产生，现在已经跨越了最初的需求，上升到了一个更高的阶段。
2.大数据
如今大数据应用更多关注非结构化数据，更多谈论互联网，Twitter、Facebook、博客等非结构化数据，如此理解大数据应用，显然就有些走偏了。结构化数据也属于大数据，且呈现出相同的特点和特征，如数据量大，增长越来越快，对数据处理要求高等。结构化数据是广义大
数据中含金量或者价值密度最高的一部分数据，与之相比，非结构化数据含金量高但价值密度低。在Hadoop平台出现之前，没有人谈论大数据。数据应用主要是结构化数据，多采用IBM、HP等老牌厂商的小型机或服务器设备。
采用传统方法处理这些价值密度低的非结构化数据，被认为是不值得的，因为其产出实在是有限。Hadoop平台出现之后，提供了一种开放的、廉价的、基于普通商业硬件的平台，其核心是分布式大规模并行处理，从而为非结构化数据处理创造条件。
大数据应用的数据来源应该包括结构化数据，如各种数据库、各种结构化文件、消息队列和应用系统数据等，其次才是非结构化数据，又可以进一步细分为两部分，一是社交媒体，如Twitter、Facebook、博客等产生的数据，包括用户点击的习惯/
特点，发表的评论，评论的特点，网民之间的关系等，这些都构成了大数据来源。另外一部分数据，也是数据量比较大的数据，就是机器设备以及传感器所产生的数据。以电信行业为例，CDR、呼叫记录，这些数据都属于原始传感器数据，主要来自路由器或者基站。此外，手机的置传感器，各种手持设备、门禁系统，摄像头、ATM机等，其数据量也非常巨大。
3.大数据分析工具
对于分析大数据的工具，目前所有的分析工具都侧重于结构化分析，例如针对社交媒体评论方向的分析，根据特定的词频或者语义，通过统计正面/负面评论的比例，来确定评论性质。如果有一个应用系统是接收结构化数据的，例如一个分析系统，接收这些语义就可以便于分析。
4.大数据应用实例
让大数据应用落地，其中的关键在于与行业应用的深度融合。
1)公安行业
公安行业的视频影像处理是一个特定应用领域，传统BI、ETL工具拿这些数据没有办法，采用分布式Hadoop进行处理能够带来很
好的效益，因为Hadoop可以处理数据量足够大。公安行业实际上已采集了大量视频影像数据，利用这些数据，可以追踪一个嫌疑犯的行踪，什么时间在全国哪些地区出现过。这些应用不可能单纯依靠人的力量，需要借助人脸识别、图像识别技术、模式处理，数据压缩等技术，需要海量处理软件，抓出相关特征，帮助公安人员提高工作效率。
2)电信行业
在电信行业，计费系统实际上是对各种数据进行整合后的结果，是一个缩小的数据。借助大数据应用，运营商可以原始大数据进行
分析，例如分析传感器数据是否有异常，从而判断设备异常等，这些都是一些用传统BI工具无法实现的分析，其结果往往会出乎意料，帮助运营商提高服务水平以及用户的满意度。
3)互联网行业
在互联网行业，通过分析手机上网轨迹，可以分析了解客户群，了解用户的偏好，此外，获取地理位置的信息，也具有特定价值。
从这些行业大数据应用分析来看，一个是视频影像处理，一个是日志分析，另外一个是处理特定文件格式的分析处理，彼此之间显然没有任何通
用性的特点，其共同点就是利用了廉价的大数据处理平台。
大数据处理的十大工具；
大数据的日益增长,给企业管理大量的数据带来了挑战的同时也带来了一些机遇。下面是用于信息化管理的大数据工具列表：
1.ApacheHive
Hive是一个建立在hadoop上的开源数据仓库基础设施，通过Hive可以很容易的进行数据的ETL,对数据进行结构化处理,并对Hadoop上大数据文件
进行查询和处理等。Hive提供了一种简单的类似SQL的查询语言—HiveQL,这为熟悉SQL语言的用户查询数据提供了方便。
2JaspersoftBI套件
Jaspersoft包是一个通过数据库列生成报表的开源软件。行业领导者发现Jaspersoft软件是一流的,许多企业已经使用它来将SQL表转化为pdf,，这
使每个人都可以在会议上对其进行审议。另外，JasperReports提供了一个连接配置单元来替代HBase。
3.1010data
1010data创立于2000年，是一个总部设在纽约的分析型云服务，旨在为华尔街的客户提供服务，甚至包括NYSEEuronext、游戏和电信的客户。
它在设计上支持可伸缩性的大规模并行处理。它也有它自己的查询语言,支持SQL函数和广泛的查询类型，包括图和时间序列分析。这个私有云的方法减少了客户在基础设施管理和扩展方面的压力。
4.Actian
Actian之前的名字叫做IngresCorp，它拥有超过一万客户而且正在扩增。它通过Vectorwise以及对ParAccel实现了扩展。这些发展分别导致了
ActianVector和ActianMatrix的创建。它有Apache，Cloudera，Hortonworks以及其他发行版本可供选择。
5.PentahoBusinessAnalytics
从某种意义上说,Pentaho与Jaspersoft相比起来,尽管Pentaho开始于报告生成引擎，但它目前通过简化新来源中获取信息的过程来支持大数据处
理。Pentaho的工具可以连接到NoSQL数据库，例如MongoDB和Cassandra。PeterWayner指出,PentahoData(一个更有趣的图形编程界面工具)有很多内置模块，你可以把它们拖放到一个图片上,然后将它们连接起来。
6.KarmasphereStudioandAnalyst
KarsmasphereStudio是一组构建在Eclipse上的插件,它是一个更易于创建和运行Hadoop任务的专用IDE。在配置一个Hadoop工作时，
Karmasphere工具将引导您完成每个步骤并显示部分结果。当出现所有数据处于同一个Hadoop集群的情况时，KarmaspehereAnalyst旨在简化
筛选的过程,。
7.Cloudera
Cloudera正在努力为开源Hadoop,提供支持，同时将数据处理框架延伸到一个全面的“企业数据中心”范畴,这个数据中心可以作为首选目标和管
理企业所有数据的中心点。Hadoop可以作为目标数据仓库，高效的数据平台，或现有数据仓库的ETL来源。企业规模可以用作集成Hadoop与传
统数据仓库的基础。Cloudera致力于成为数据管理的“重心”。
8.HPVerticaAnalyticsPlatformVersion7
HP提供了用于加载Hadoop软件发行版所需的参考硬件配置,因为它本身并没有自己的Hadoop版本。计算机行业领袖将其大数据平台架构命名为
HAVEn(意为Hadoop,Autonomy,Vertica,EnterpriseSecurityand“n”applications)。惠普在Vertica7版本中增加了一个“FlexZone”，允许用
户在定义数据库方案以及相关分析、报告之前探索大型数据集中的数据。这个版本通过使用HCatalog作为元数据存储，与Hadoop集成后为用户
提供了一种探索HDFS数据表格视图的方法。
9.TalendOpenStudio
Talend’s工具用于协助进行数据质量、数据集成和数据管理等方面工作。Talend是一个统一的平台，它通过提供一个统一的，跨企业边界生命周
期管理的环境，使数据管理和应用更简单便捷。这种设计可以帮助企业构建灵活、高性能的企业架构,在次架构下，集成并启用百分之百开源服务的分布式应用程序变为可能。
10.ApacheSpark
ApacheSpark是Hadoop开源生态系统的新成员。它提供了一个比Hive更快的查询引擎，因为它依赖于自己的数据处理框架而不是依靠Hadoop的
HDFS服务。同时，它还用于事件流处理、实时查询和机器学习等方面。