机器学习系列之二：属性约简与theory的区别

通过实例分析验证了改进算法的有效性。粗糙集理论；属性减少；tie, FU iang (ATR Lab National Uniuersity DefenceTechnology, Changsha 410073, China) 摘要：改进启发式算法属性约简粗糙集理论已被证明hardprobem minimumattribute set 人们可以采用启发式算法找到近似最优解，但可能退出属性冗余得到属性约简。 RoughSets，启发式信息秒减少属性冗余，然后改进启发式算法改进算法关键词：粗糙集理论；属性减少；启发式算法 的数学理论，最初由波兰数学家于 1982 年提出，

它已广泛用于机器学习和知识发现。作为粗糙集理论的核心内容，属性约简可以消除冗余信息，形成简化的规则库，使人们能够快速准确地做出决策。万德从计算复杂度的角度证明寻找信息系统的最短收货日期：20050530 修订日期：20050624 作者简介：李珊（1982）启发式搜索一般是何种算法的改进，女，浙江衢州人，硕士研究生，主要从事信号处理、自动化物体识别研究。归约是一个 NP 难题。启发式算法一般用于解决此类问题，即利用启发式信息缩小搜索空间，最终得到最优或接近最优的解。然而，根据文献[6]的研究，结果表明启发式搜索一般是何种算法的改进，一般启发式算法是不完备的，最终归约中仍然存在冗余的可能。本文提出的改进算法基于现有文献的启发式计算[10]，从属性依赖和属性重要性出发，对属性集进行二次约简，以消除初始约简后可能存在的可能性。冗余属性。将该改进的启发式算法应用于文献[6]中的反例，成功消除了原算法得到的约简中的冗余，验证了改进算法的有效性。理论上描述了一个决策表[11] Electro-Optics and Control ELECTRONICS OPTICS CONTROLVo 2006f>，它是属性集，这是条件属性集；D是决策属性集；V 中每个对象的属性指定一个唯一值。

在这样一个信息系统中，每个属性子集都定义了一个关于话语域A的等价关系，等价关系IND(B)={(x,y)表示等价关系R对话语域U的划分，对中的等价关系Y除以CX。根据正域的概念，决策属性，其中 POS 被添加到 R，用于分类定义为 SIG 一致数据约简启发式算法 粗集属性约简是在不丢失信息的情况下删除冗余属性。在集合中，等属性依赖可以作为迭代操作的终止条件，属性重要性可以作为算法的启发信息。以条件属性值与决策属性之间的依赖关系为准则，首先计算每个属性的依赖关系和重要性，并按照属性的重要性降序排列，以核作为初始约简集，选择最重要的一项。将属性添加到缩减的属性集中，直到缩减集的依赖关系与原始信息表中所有属性的依赖关系一致。可以发现，在每个属性重要性排序过程中，任意{R,D}都是相等的，所以在算法的实际执行中，可以计算重要性SIG(a,R,D)并排序。转换为依赖关系{a}，D)的计算和排序，虽然计算复杂度没有降低，计算量减少了。算法改进的启发式算法 根据文献[6]的研究，启发式算法是不完整的，得到的约简可能是多余的。多个（2） 属性可能稍后会被选中）使之前已经被选中的一个或多个属性成为冗余属性。

针对这种情况，本文对算法进行了改进，提出了一种改进的启发式算法。改进算法的主要思想是利用原算法已有的属性依赖和属性重要性对得到的属性约简进行二次约简，以消除可能的冗余属性。算法（C，D），进行第5步；否则，转步骤继续；step 3，按照属性依赖从小到大的顺序，排列{a If 按照算法得到的属性约简为{a, 6 , c, }，即为核值。实际上{a, 6,}的分类能力和改进的启发式算法{a, 6, c, i}对粗糙集的属性约简是一样的，即在得到约简时，现在计算属性由算法。2. 减少它，因为步骤1与算法1相同，不再详细描述。步骤外的属性6、c、i按属性重要性升序排列为{i,c,6}，a 步骤6：删除属性步骤7：此时1，向归约集R解释属性；重复步骤是可以从归约集中消除的冗余步骤；属性不能被消除，并恢复到约简集。Step 8：输出改进的约简算法2，得到的属性约简为{a, 6, i}，与算法得到的约简{a, 6, c, i}相比，在保持分类能力的前提下不变，成功消除冗余属性得到的约简最小。最后将决策表简化为表2，实现了数据压缩，简化了分类规则的提取。结论 本文通过对属性依赖和属性重要性的讨论，针对一般启发式算法的不完备性，对算法进行了改进，增加了消除冗余的二次归约过程。

该算法不仅可以实现属性约简，而且可以消除约简中可能存在的冗余。实例表明该算法是有效的。参考文献： Roughset Internationaljourna informationscience, 1982, (11）: 341 Gobadiscretization 连续属性机器学习［J］. Internationa Journa 近似推理, 1996, (15）: 319331 Roughset 方法属性生成数据挖掘［J]. Journa informationscience, 1998, 107: 169176 基于粗糙集方法的决策支持 Europeanjourna operation aresearch, 1997, 99: 4857 optimadecision rues tabes poishacadeny sciencesmathematics, 1985, 33: 910 启发式属性约简算法和规则发现算法的完整性研究[J]. 计算机工程与应用，2003，（30）：191 194 一种启发式知识约简算法[J]．计算机研究与发展，1999，（5）：393400 Jeonek 属性约简算法）粗糙集的一种改进[J]．电子学报, 2000, (12）: 8182 石峰, 楼振亮, 张永清. 一种改进的粗糙集属性约简启发式算法[J]. 上海交通大学学报, 2002 , (4）@ >: 478481 [10] 何国建, 陶宏才. 基于粗糙集理论的属性约简改进算法[J]. 计算机应用, 2004, (11）: 7577 粗糙集理论与方法[J]. 楼振良，张永清。一种改进的粗糙集属性约简启发式算法[J]．上海交通大学学报, 2002 , (4）@>: 478481 [10] 何国健, 陶宏才. 基于粗糙集理论的属性约简改进算法[J]. 计算机应用, 2004, (11）:7577 粗糙集理论与方法[J]. 楼振良，张永清。一种改进的粗糙集属性约简启发式算法[J]．上海交通大学学报, 2002 , (4）@>: 478481 [10] 何国健, 陶宏才. 基于粗糙集理论的属性约简改进算法[J]. 计算机应用, 2004, (11）:7577 粗糙集理论与方法[J].