热门文档
- 2022-09-18 20:22:00 中国人为什么看不起中国人 张鸣
- 2022-09-18 20:22:00 中国兵法之起源 编委会
- 2022-09-18 19:48:57 心理催眠术 迈克尔.赫普,温迪.德雷顿著
- 2022-11-24 16:17:09 《性体验与性爱心理》尤里-谢尔巴特赫
- 2022-09-18 19:48:57 成功创业72绝招 艾凡著
- 2022-09-18 20:22:00 中国企业的六西格玛管理之道 魏中龙主编
- 2022-11-27 20:51:00 《英语是玩出来的》何杰 刘丽芳
- 2022-09-19 20:00:37 《社会契约论》卢梭著 何兆武译
- 2022-11-22 08:41:49 【测试文档】小学语文口语交际写作技巧大全
- 2022-12-05 15:23:18 《做你自己股神巴菲特送给儿子的人生礼物》巴菲特著 赵亚男译
- 2022-09-19 10:52:47 《计算机原理与系统结构》侯炳辉主编
- 2022-10-02 14:44:45 《心理咨询导论 第3版》约翰·麦克里奥德 潘洁编著
1、本文档共计 212 页，下载后文档不带www.pdfdz.com水印，支持完整阅读内容。
2、古籍基本都为PDF扫描版，所以文档不支持编辑功能，即不支持文档内文字的复制粘贴。
3、当您付费下载文档后，您只拥有了使用权限，并不意味着购买了版权，文档只能用于自身使用，不得用于其他商业用途（如 [转卖]进行直接盈利或[编辑后售卖]进行间接盈利）。
4、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。
5、如文档内容存在违规，或者侵犯商业秘密、侵犯著作权等，请点击“违规举报”。
2、古籍基本都为PDF扫描版，所以文档不支持编辑功能，即不支持文档内文字的复制粘贴。
3、当您付费下载文档后，您只拥有了使用权限，并不意味着购买了版权，文档只能用于自身使用，不得用于其他商业用途（如 [转卖]进行直接盈利或[编辑后售卖]进行间接盈利）。
4、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。
5、如文档内容存在违规，或者侵犯商业秘密、侵犯著作权等，请点击“违规举报”。
第一章数据挖掘导论第一章数据挖掘导论数据挖掘作为一个新兴的多学科交又应用领域，正在各行各业的决策支持活动扮演着越来越重要的角色。本书将介绍数据挖掘(Data Mining)与数据库知识发现(Knowledge Discovery from Databases)的基本知识，以及从大量有噪声、不完整、甚至是不一致数据中，挖掘出有意义的模式知识所涉及的概念与技术方法。本章将从数据管理技术演化角度，介绍数据挖掘的由来。以及数据挖掘的作用和意义。同时还将介绍数据挖掘系统的结构、数据挖掘所获得的知识种类，以及数据挖掘系统的分类。最后还简要介绍了当前数据挖掘领域尚存在的一些热，点问题。1.1数据挖掘发展简述1.1.1数据丰富与知识匮乏计算机与信息技术经历了半个世纪的发展，给人类社会带来了巨大的变化与影响。在支配人类社会三大要素（能源、材料和信息）中，信息愈来愈显示出其重要性和支配力，它将人类社会由工业化时代推向信息化时代。随着人类活动范围的扩展，生活节奏的加快，以及技术的进步，人们能以更快速更容易更廉价的方式获取和存储数据，这就使得数据及其信息量以指数方式增长。早在20世纪八十年代，据粗略估算，全球信息量每隔20个月就增加一倍。而进入九十年代，全世界所拥有的数据库及其所存储的数据规模增长更快。一个中等规模企业每天要产生100MB以上来自各生产经营等多方面的商业数据。美国政府部门的一个典型大数据库每天要接收约5TB数据量，在15秒到1分钟时间里，要维持的数据量达到300TB,存档数据达15~100PB。在科研方面，以美国宇航局的数据库为例，每天从卫星下载的数据量就达3~4TB之多；而为了研究的需要，这些数据要保存七年之久。九十年代互联网(Internet)的出现与发展，以及随之而来的企业内部网(Intranet)和企业外部网(Extranet)以及虚拟私有网(VPN:Virtual Private network)的产生和应用，使整个世界互联形成一个小小的地球村，人们可以跨越时空地在网上交换信息和协同工作。这样，展现在人们面前的已不是局限于本部门，本单位和本行业的庞大数据库，而是浩瀚无垠的信息海洋。据估计，1993年全球数据存贮容量约为二千TB,到2000年增加到三百万TB,面对这极度膨胀的数据信息量，人们受到“信息爆炸”、“混沌信息空间”(Infortion Chaotic Space)和“数据过剩”(Data glut)的巨大压力。第一章数据挖掘导论然而，人类的各项活动都是基于人类的智慧和知识，即对外部世界的观察和了解，做出正确的判断和决策以及采取正确的行动，而数据仅仅是人们用各种工具和手段观察外部世界所得到的原始材料，它本身没有任何意义。从数据到知识到智慧，需要经过分析加工处理精炼的过程。如图-1.1所示，数据是原材料，它只是描述发生了什么事情，并不能构成决策或行动的可靠基础。通过对数据进行分析找出其中关系，赋予数据以某种意义和关联，这就形成所谓信息。信息虽给出了数据中一些有一定意义的东西，但它往往和人们需要完成的任务没有直接的联系，也还不能做为判断、决策和行动的依据。对信息进行再加工，即进行更深入的归纳分析，方能获得更有用的信息，即知识。而所谓知识，可定义为“信息块中的一组逻辑联系，其关系是通过上下文或过程的贴近度发现的”。从信息中理解其模式，即形成知识。在大量知识积累基础上，总结出原理和法则，就形成所谓智慧(Wisdom)。事实上，一部人类文明发展史，就是在各种活动中，知识的创造、交流，再创造不断积累的螺旋式上升的历史。客观世界收集数据分析信息深入分析知识决策与行动图-1.1人类活动所涉及数据与知识之间的关系描述计算机与信息技术的发展，加速了人类知识创造与交流的这种进程，据德国《世界报》的资料分析，如果说19世纪时科学定律（包括新的化学分子式，新的物理关系和新的医学认识)的认识数量一百年增长一倍，到本世纪60年代中期以后，每五年就增加一倍。这其中知识起着关键的作用。当数据量极度增长时，如果没有有效的方法，由计算机及信息技术来帮助从中提取有用的信息和知识，人类显然就会感到像大海捞针一样束手无策。据估计，目前一个大型企业数据库中数据，约只有百分之七得到很好应用。因此目前人类陷入了一个尴尬的境地，即“丰富的数据”(dtarich)而“贫乏的知识”(knowledge poor)。1.1.2从数据到知识第一章数据挖掘导论早在八十年代，人们在“物竞天择，适者生存”的大原则下，就认识到“谁最先从外部世界获得有用信息并加以利用，谁就可能成为赢家”。而今置身市场经济且面向全球性剧烈竞争的环境下，任何商家的优势不单纯地取决于如产品、服务、地区等方面因素，而在于创新。用知识作为创新的原动力，就能使商家长期持续地保持竞争优势。因此要能及时迅速地从日积月累庞大的数据库中，以及互联网上获取与经营决策相关的知识，自然而然就成为满足易变的客户需求以及因市场快速变化而引起激烈竞争局面的唯一式器。因此，如何对数据与信息快速有效地进行分析加工提炼以获取所需知识，就成为计算机及信息技术领域的重要研究课题。事实上计算机及信息技术发展的历史，也是数据和信息加工手段不断更新和改善的历史。早年受技术条件限制，一般用人工方法进行统计分析和用批处理程序进行汇总和提出报告。在当时市场情况下，月度和季度报告已能满足决策所需信息要求。随着数据量的增长，多数据源所带来的各种数据格式不相容性，为了便于获得决策所需信息，就有必要将整个机构内的数据以统一形式集成存储在一起，这就是形成了数据仓库(data warehousing)。数据仓库不同于管理日常工作数据的数据库，它是为了便于分析针对特定主题(subject-oriented)的集成化的、时变的(time-variant)即提供存贮5~10年或更长时间的数据，这些数据一旦存入就不再发生变化。数据仓库的出现，为更深入对数据进行分析提供了条件，针对市场变化的加速，人们提出了能进行实时分析和产生相应报表的在线分析工具OLAP(On LineAnalytical Processing)。OLAP能允许用户以交互方式浏览数据仓库内容，并对其中数据进行多维分析，且能及时地从变化和不太完整的数据中提取出与企业经营活动密切相关的信息。例如：OLAP能对不同时期、不同地域的商业数据中变化趋势进行对比分析。OLAP是数据分析手段的一大进步，以往的分析工具所得到的报告结果只能回答“什么”(What),而OLAP的分析结果能回答“为什么”(Why)。但OLAP分析过程是建立在用户对深藏在数据中的某种知识有预感和假设的前提下，由用户指导的信息分析与知识发现过程。但由于数据仓库（通常数据贮藏量以TB计）内容来源于多个数据源，因此其中埋藏着丰富的不为用户所知的有用信息和知识，而要使企业能及时准确地做出科学的经营决策，以适应变化迅速的市场环境，就需要有基于计算机与信息技术的智能化自动工具，来帮助挖掘隐藏在数据中的各类知识。这类工具不应再基于用户假设，而应能自身生成多种假设；再用数据仓库（或大型数据库)中的数据进行检验或验证；然后返回用户最有价值的检验结果。此外这类工具还应能适应现实世界中数据的多种特性（即量大、含噪声、不完整、动态、稀疏性、异质、非线性等)。要达到上述要求，只借助于一般数学分析方法是无能达到的。多年来，数理统计技术方法以及人工智能和知识工程等领域的研究成果，诸如推理、3
