数据挖掘概述

快捷登录

只需一步，快速开始

数据挖掘概述

2022-6-27 17:07| 发布者: 淘商联盟-吴文俊| 查看: 4166| 评论: 4

摘要 : 一、什么是数据挖掘各行各业已经在步入大数据时代，数据挖掘是在大型数据库中自动发现有用信息的过程过程，所以数据挖掘是数据库中知识发现（Konwledge Discovery in Database， KDD）的重要一环。知识发现区别于对 ...

数据挖掘概述

一、什么是数据挖掘

各行各业已经在步入大数据时代，数据挖掘是在大型数据库中自动发现有用信息的过程过程，所以数据挖掘是数据库中知识发现（Konwledge Discovery in Database， KDD）的重要一环。

知识发现区别于对数据库中数据进行单纯检索的操作，知识发现更加强调的是从现有的数据中挖掘出数据之间存在的模式。一个完整的知识发现过程还包含了数据挖掘前的预处理，比如特征工程、数据规范化等，以及数据挖掘之后的模式过滤、结果可视化、模式统计检验等后处理过程。

二、数据挖掘中面临的问题

在对大数据进行挖掘的过程中，还面临着许多的问题。这些问题包含数据本身导致的问题，也有数据在使用的时候发现的问题。

2.1 数据的标准化

数据标准化是一个大课题，例如，在金融行业中系统繁多，从各系统中获得的数据质量参差不齐，如果没有一个统一的标准，在我们获取源数据的过程中就会面临各种各样的数据质量问题，比如不同源系统提供的同一个字段属性数据明显不同或者同一个系统提供的一个字段属性下的数据存在不同的格式，甚至关键数据大量留空等问题，都会对数据挖掘的整个周期产生重大影响。

2.2 数据维度不断提升

数据维度可以理解为每条数据所包含的字段属性，在大数据时代每条记录拥有的字段属性都是成百上千的。例如，金融行业中一条客户信息，以前一条客户信息也许只包含了客户的一些职业、身份、住址等信息，但是随着金融行业的不断发展，业务产品不断的增加，客户在使用不同的金融产品过程中会留下更多的数据，这些数据被扩充到客户的关联信息中。

数据的维度不断提升虽然能够更加全面的展示数据属性，但是也更加容易在数据挖掘的过程中导致维度灾难，并且数据挖掘也需要消耗更多的计算资源。

2.3 数据来源更加复杂

传统的数据存储的同类型的数据，比如存储在关系型数据库中的数据。但是随着各个行业领域产生的数据越来越多，越累越复杂，例如：文本数据、音频数据、视频数据、图像数据等这类非传统数据的出现，导致以后更多的会使用非关系型数据库进行数据的存储。

数据挖掘面临的数据将会是更多的异构数据和复杂数据，在数据预处理和规约化方面会面临更多的挑战。

2.4 数据的所有权与共享

“数据是资产“的意识更加普遍化，数据的安全和隐私问题更加突出，对数据的使用和获取会更加严苛，这是将来在知识发现源头上可能会面临的新挑战。

2.5 更加多样的分析

传统的数据分析是通过监督学习的方式来进行数据的回归和分类研究，随着行业应用场景更加的多元化，将来通过半监督学习或者非监督学习的方式对数据进行分析和研究也会同样的重要。例如，客群聚类、信用卡欺诈检测等。

三、数据挖掘主要应用场景

通过统计学、机器学习、深度学习进行数据模式的识别。

3.1 进行预测分析

主要包含两类：回归建模，用于预测连续的目标变量；分类建模，用于预测离散的目标变量。建模的过程都是使用特定的算法训练出一个模型，目的是使该模型对真实数据输出的预测值和实际值之间误差最小，也称具有强泛化能力。例如，可以应用在客户的精准营销上，比如预测某个客户购买某个金融产品的金额或者是否购买概率等。