针对Lasso问题的多维权重求解算法

Ｊｏｕｒｎａｌ　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ａｐｐｌｉｃａｔｉｏｎｓ　

ＩＳＳＮ　１００１—９０８１　

２０１７一Ｏ６—１０　

计算机应用，２０１７，３７（６）：１６７４～１６７９　

文章编号：１００１—９０８１（２０１７）０６—１６７４—０６　

ＣＯＤＥＮ　ＪＹＩＩＤＵ　

ｈｔｔｐ：／／ｗｗｗ．ｊｏｃａ．ａｎ　

ＤＯＩ：１０．１１７７２／ｊ．ｉｓｓｎ．１００１—９０８１．２０１７．０６．１６７４　

针对Ｌａｓｓｏ问题的多维权重求解算法　

陈善雄　，刘小娟　，陈春蓉　，郑方园　

（１．西南大学计算机与信息科学学院，重庆４００７１５；　２．贵州工程应用技术学院信息工程学院，贵州毕节５５１７００）　

（　通信作者电子邮箱ｃｓｘｐｍｌ＠１６３．ｃｏｎｒ）　

摘要：最小绝对收缩和选择算子（Ｌａｓｓｏ）在数据维度约减、异常检测方面有着较强的计算优势。针对Ｌａｓｓｏ用　

于异常检测中检测精度不高的问题，提出了一种基于多维度权重的最小角回归（ＬＡＲＳ）算法解决Ｌａｓｓｏ问题。首先考　

虑每个回归变量在回归模型中所占权重不同，即此属性变量在整体评价中的相对重要程度不同，故在ＬＡＲＳ算法计算　

角分线时，将各回归变量与剩余变量的联合相关度纳入考虑，用来区分不同属性变量对检测结果的影响；然后在　

ＬＡＲＳ算法中加入主成分分析（ＰＣＡ）、独立权数法、基于Ｉｎｔｅｒｅｒｉｔｅｒｉａ相关性的指标的重要度评价（ＣＲＩＴＩＣ）法这三种　

权重估计方法，并进一步对ＬＡＲＳ求解的前进方向和前进变量选择进行优化。最后使用Ｐｉｍａ　Ｉｎｄｉａｎｓ　Ｄｉａｂｅｔｅｓ数据集　

验证算法的优良性。实验结果表明，在更小阈值的约束条件下，加入多维权重后的ＥＡＲＳ算法对Ｌａｓｓｏ问题的解具有　

更高的准确度，能更好地用于异常检测。　

关键词：最小绝对收缩和选择算子；变量选择；最小角回归；多元线性回归；加权　

中图分类号：ＴＰ１８１；ＴＰ３０１．６　文献标志码：Ａ　

Ｍｅｔｈｏｄ　ｆｏｒ　ｓｏｌｖｉｎｇ　Ｌａｓｓｏ　ｐｒｏｂｌｅｍ　ｂｙ　ｕｔｉｌｉｚｉｎｇ　ｍｕｌｔｉ－ｄｉｍｅｎｓｉｏｎａｌ　ｗｅｉｇｈｔ　

ＣＨＥＮ　Ｓｈａｎｘｉｏｎｇ　＇　，ＬＩＵ　Ｘｉａｏｊｕａｎ　一，ＣＨＥＮ　Ｃｈｕｎｒｏｎｇ　，ＺＨＥＮＧ　ｆａｎｇｙｕａｎ　

（１．Ｃｏｌｌｅｇｅ　ｏｆ　Ｃｏｍｐｕｔｅｒ　ａｎｄ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｓｃｉｅｎｃｅ，Ｓｏｕｔｈｗｅｓｔ　Ｕｎｉｖｅｍｉ￣，Ｃｈｏｎｇｑｉｎｇ　４００７１５，Ｃｈｉｎａ；　

２．Ｓｃｈｏｏｌ　ｏｆＩｎｆｏｒｍａｔｉｏｎ　Ｅｎｇｉｎｅｅｒｉｎｇ，Ｇｕ＆ｈｏｕ　Ｕｎｉｖｅｒｓｉｔｙ　ｏｆＥｎｇｉｎｅｅｒｉｎｇ　Ｓｃｉｅｎｃｅ，Ｂｉｊｉｅ　Ｇｕ￣ｈｏｕ　５５１７００，Ｃｈｉｎａ）　

Ａｂｓｔｒａｃｔ：Ｌｅａｓｔ　ａｂｓｏｌｕｔｅ　ｓｈｒｉｎｋａｇｅ　ａｎｄ　ｓｅｌｅｃｔｉｏｎ　ｏｐｅｒａｔｏｒ（Ｌａｓｓｏ）ｈａｓ　ｐｅｆｒｏｒｍａｎｃｅ　ｓｕｐｅｉｒｏｒｉｔｙ　ｉｎ　ｄｉｍｅｎｓｉｏｎ　ｒｅｄｕｃｔｉｏｎ　ｏｆ　

ｄａｔａ　ａｎｄ　ａｎｏｍａｌｙ　ｄｅｔｅｃｔｉｏｎ．Ｃｏｎｃｅｒｎｉｎｇ　ｔｈｅ　ｐｒｏｂｌｅｍ　ｔｈａｔ　ｔｈｅ　ａｃｃｕｒａｃｙ　ｉｓ　ｌｏｗ　ｉｎ　ａｎｏｍａｌｙ　ｄｅｔｅｃｔｉｏｎ　ｂａｓｅｄ　ｏｎ　Ｌａｓｓｏ，ａ　Ｌｅａｓｔ　

Ａｎｇｌｅ　Ｒｅｇｒｅｓｓｉｏｎ（ＬＡＲＳ）ａｌｇｏｒｉｔｈｍ　ｂａｓｅｄ　ｏｎ　ｍｕｌｔｉ・ｄｉｍｅｎｓｉｏｎａｌ　ｗｅｉｇｈｔ　ｗａｓ　ｐｒｏｐｏｓｅｄ．Ｆｉｒｓｔｌｙ，ｔｈｅ　ｐｒｏｂｌｅｍ　ｗａｓ　ｃｏｎｓｉｄｅｒｅｄ　

ｔｈａｔ　ｅａｃｈ　ｒｅｇｒｅｓｓｉｏｎ　ｖａｒｉａｂｌｅ　ｈａｄ　ｄｉｆｅｒｅｎｔ　ｗｅｉｇｈｔ　ｉｎ　ｔｈｅ　ｒｅｇｒｅｓｓｉｏｎ　ｍｏｄｅ１．Ｎａｍｅｌｙ，ｔｈｅ　ｉｍｐｏｒｔａｎｃｅ　ｏｆ　ｔｈｅ　ａｔｔｒｉｂｕｔｅ　ｖａｒｉａｂｌｅ　ｗａｓ　

ｄｉｆｆｅｒｅｎｔ　ｉｎ　ｔｈｅ　ｏｖｅｒａｌｌ　ｅｖａｌｕａｔｉｏｎ．Ｓｏ，ｉｎ　ｃａｌｃｕｌａｔｉｎｇ　ａｎｇｕｌａｒ　ｂｉｓｅｃｔｏｒ　ｏｆ　ＬＡＲＳ　ａｌｇｏｒｉｔｈｍ，ｔｈｅ　ｕｎｉｔｅｄ　ｃｏｒｒｅｌａｔｉｏｎ　ｏｆ　ｒｅｇｒｅｓｓｉｏｎ　

ｖａｒｉａｂｌｅ　ａｎｄ　ｒｅｓｉｄｕａｌ　ｖｅｃｔｏｒ　ｗａｓ　ｉｎｔｒｏｄｕｃｅｄ　ｔｏ　ｄｉｓｔｉｎｇｕｉｓｈ　ｔｈｅ　ｅｆｆｅｃｔ　ｏｆ　ｄｉｆｆｅｒｅｎｔ　ａｔｔｉｂｕｔｅ　ｖａｒｉｒａｂｌｅｓ　ｏｎ　ｄｅｔｅｃｔｉｏｎ　ｒｅｓｕｌｔｓ．Ｔｈｅｎ，　

ｔｈｅ　ｔｈｒｅｅ　ｗｅｉｇｈｔ　ｅｓｔｉｍａｔｉｏｎ　ｍｅｔｈｏｄｓ　ｏｆ　Ｐｒｉｎｃｉｐａｌ　Ｃｏｍｐｏｎｅｎｔ　Ａｎａｌｙｓｉｓ（ＰＣＡ），ｉｎｄｅｐｅｎｄｅｎｔ　ｗｅｉｇｈｔ　ｅｖａｌｕａｔｉｏｎ　ａｎｄ　ＣＲｉｔｅｒｉａ　

Ｉｍｐｏｒｔａｎｃｅ　Ｔｈｏｕｇｈ　Ｉｎｔｅｒｃｒｉｔｅｒｉａ　Ｃｏｒｒｅｌａｔｉｏｎ（ＣＲＩＴＩＣ）ｗｅｒｅ　ａｄｄｅｄ　ｉｎｔｏ　ＬＡＲＳ　ａｌｇｏｉｒｔｈｍ　ｒｅｓｐｅｃｔｉｖｅｌｙ．Ｔｈｅ　ａｐｐｒｏａｃｈ　ｄｉｒｅｃｔｉｏｎ　

ａｎｄ　ａｐｐｒｏａｃｈ　ｖａｒｉａｂｌｅ　ｓｅｌｅｃｔｉｏｎ　ｉｎ　ｔｈｅ　ｓｏｌｕｔｉｏｎ　ｏｆ　ＬＡＲＳ　ｗｅｒｅ　ｆｕｒｔｈｅｒ　ｏｐｔｉｍｉｚｅｄ．Ｆｉｎａｌｌｙ，ｔｈｅ　Ｐｉｍａ　Ｉｎｄｉａｎｓ　Ｄｉａｂｅｔｅｓ　ｄａｔａｓｅｔ　ｗａｓ　

ｕｓｅｄ　ｔｏ　ｐｒｏｖｅ　ｔｈｅ　ｏｐｔｉｍａｌ　ｐｒｏｐｅｒｔｙ　ｏｆ　ｔｈｅ　ｐｒｏｐｏｓｅｄ　ａｌｇｏｒｉｔｈｍ．Ｔｈｅ　ｅｘｐｅｒｉｍｅｎｔａｌ　ｒｅｓｕｌｔｓ　ｓｈｏｗ　ｔｈａｔ，ｔｈｅ　ＬＡＲＳ　ａｌｇｏｒｉｔｈｍ　ｂａｓｅｄ　ｏｎ　

ｍｕｌｔｉ・ｄｉｍｅｎｓｉｏｎａｌ　ｗｅｉｇｈｔ　ｈａｓ　ａ　ｈｉｇｈｅｒ　ａｃｃｕｒａｃｙ　ｔｈａｎ　ｔｈｅ　ｔｒａｄｉｔｉｏｎａｌ　ＬＡＲＳ　ｕｎｄｅｒ　ｔｈｅ　ｓａｍｅ　ｃｏｎｓｔｒａｉｎｔ　ｃｏｎｄｉｔｉｏｎ　ｗｉｔｈ　ｓｍａｌｌｅｒ　

ｔｈｒｅｓｈｏｌｄ　ｖａｌｕｅ，ａｎｄ　ｃａｎ　ｂｅ　ｍｏｒｅ　ｓｕｉｔｂｌａｅ　ｆｏｒ　ａｎｏｍａｌｙ　ｄｅｔｅｃｔｉｏｎ．　

Ｋｅｙ　ｗｏｒｄｓ：Ｌｅａｓｔ　ａｂｓｏｌｕｔｅ　ｓｈｒｉｎｋａｇｅ　ａｎｄ　ｓｅｌｅｃｔｉｏｎ　ｏｐｅｒａｔｏｒ（Ｌａｓｓｏ）；ｖａｒｉａｂｌｅ　ｓｅｌｅｃｔｉｏｎ；Ｌｅａｓｔ　Ａｎｇｌｅ　Ｒｅｇｒｅｓｓｉｏｎ　

（ＬＡＲＳ）；Ｍｕｌｔｉｐｌｅ　Ｌｉｎｅａｒ　Ｒｅｇｒｅｓｓｉｏｎ（ＭＬＲ）；ｗｅｉｇｈｔｉｎｇ　

０　引言　

大数据时代，数据挖掘已展现出其魅力，如何使用数理统　

计模型从海量数据中挖掘有效信息越来越受到业界的关注。　

在建立模型初期，一般会选择尽可能多的自变量（属性集）减　

小因缺少重要自变量而出现的模型偏差，但建模过程中需要　

确性主要取决于变量的选择和回归系数的取值。在Ｆｒａｎｋ　

等　提出的Ｒｉｄｇｅ　Ｒｅｇｒｅｓｓｉｏｎ算法和Ｂｉｒｅｍａｎ口　提出的　

Ｎｏｎｎｅｇａｔｉｖｅ　Ｇａｒｒｏｔｅ算法的启发下，Ｔｉｂｓｈｉｒａｎｉ　提出了一种称　

之为最小绝对收缩和选择算子（Ｌｅａｓｔ　ａｂｓｏｌｕｔｅ　ｓｈｒｉｎｋａｇｅ　ａｎｄ　

ｓｅｌｅｃｔｉｏｎ　ｏｐｅｒａｔｏｒ，Ｌａｓｓｏ）的新的变量选择方法。该算法通过　

构造一个惩罚函数来压缩系数，在回归系数的绝对值之和小　

于一个常数的约束条件下，使残差的平方最小化，Ｌａｓｓｏ方法　

作为一种压缩估计，具有较高的检测精度和较好的参数收敛　

一

寻找对结果变量解释力最强的自变量集合，即通过对自变量　

选择来提高模型的预测精度与准确度…。统计学中常用的　

模型之一是线性回归模型，而对线性回归模型而言，模型的准　

收稿日期：２０１６－１１—０７；修回日期：２０１７—０１一ｌ２。　

致性。进一步，Ｅｆｒｏｎ等　提出最小角回归（Ｌｅａｓｔ　Ａｎｇｌｅ　

基金项目：国家自然科学基金资助项目（６１３０３２２７）；贵州省普通高等学校科技拔尖人才　

支持计划项目（黔教合ＫＹ字［２０１６］０９８）；贵州省科技厅联合基金资助项目（黔科合ＬＨ字［２０１６］７０５３）。　

作者简介：陈善雄（１９８ｌ一），男，重庆人，副教授，博士，主要研究方向：压缩感知、异常检测、模式识别；刘小娟（１９９０一），女，四川广安人，　

助教，硕士，主要研究方向：模式识别、神经网络；　陈春蓉（１９９５一），女，重庆人，硕士研究生，主要研究方向：数据挖掘、智能信息处理；　

郑方园（１９９４一），男，河南焦作人，硕士研究生，主要研究方向：异常检测、网络安全。　

第６期　陈善雄等：针对Ｌａｓｓｏ问题的多维权重求解算法　１６７５　

Ｒｅｇｒｅｓｓｉｏｎ，ＬＡＲＳ）算法来支撑Ｌａｓｓｏ问题的解法，并进一步　

提出了修正的ＬＡＲＳ算法，该算法通过消除了回归系数ｐ异　

号的情况来得到Ｌａｓｓｏ问题的解。修正的ＬＡＲＳ算法采用逐　

步回归，每一步路径都保持当前的残差与所有入选变量的相　

关性都相同，同时满足Ｌａｓｓｏ解与当前逼近保持同向的要求，　

保证最优结果，降低算法复杂度　一　。但ＬＡＲＳ算法在求解　

过程中。利用了自变量的均分的“角分线”方向对解向量进行　

逼近，并没有考虑到不同变量对最终解的权重影响。　

即残差处于　。与　：的角平分线上，此后用　。与　：的角平分线　

方向逼近因变量Ｙ。　

图１　ＥＡＲＳ算法求解步骤　

Ｆｉｇ．Ｉ　Ｓｏｌｖｉｎｇ　ｐｒｏｃｅｓｓ　ｏｆ　ＡＲＳ　ａｌＥｇｏｒｉｔｈｍ　

因此本文提出了采用多维权重的方式计算变量的权重，　

考虑到不是所有属性项（变量）都影响着检测结果，每个回归　

２　多维权重ＬＡＲＳ方法　

变量在回归模型中所占权重不同，即此属性变量在整体评价　

中的相对重要程度不同，因此，在ＬＡＲＳ算法计算“角分线”　

时，将各回归变量与剩余变量的联合相关度纳入考虑，用来区　

分不同属性变量对检测结果的影响。实验通过Ｐｉｍａ　Ｉｎｄｉａｎｓ　

Ｄｉａｂｅｔｅｓ数据集，两组评价指标对本文提出的方法进行了讨　

论，其结果表明加入多维权重的ＬＡＲＳ对Ｌａｓｓｏ问题的解答具　

有更高的准确性能。　

１．Ｌａｓｓｏ问题及ＬＡＲＳ算法　

１．１　Ｌａｓｓｏ问题描述　

存在多维自变量设　∈１１　（　＝１，２，…，ｍ），因变量　

Ｙ∈Ｒ　，且每组自变量　都有对应的因变量Ｙ，用自变量　对　

因变量Ｙ进行线性回归，在限定回归系数　的　。范数小于　的　

情况下，求使得残差平方和最小的回归系数卢的估值。因此，　

线性Ｌａｓｓｏ回归模型可以表示为：　

Ｙ＝　＋　（１）　

其中：　是　维列向量，为待估参数；误差向量口满足Ｅ（　）＝　

０，且Ｖａｒ（ｅ）：　。并且假定Ｅ（ｙ　Ｉ　）＝　＋　２＋…＋　

卢　，。注意该模型是稀疏模型，即ＪＢ　，　，…，　中有很多系数为　

零。变量选择的目的就是根据获取的数据来识别模型中哪些　

系数为零，并估计其他非零参数，即寻找构建稀疏模型的参　

数。需要求解的问题写成矩阵表达式为：　

（口，卢）＝ａｒｇ　ｍｉｎ　ｌ　ｌＹ一　一　ｌ　ｌ２；ｌｌ卢ＩＩ　１≤ｔ（２）　

１．２　ＬＡＲＳ算法　

ＬＡＲＳ算法很好地解决了Ｌａｓｓｏ问题，其建立在前向选择　

算法和前向梯度算法的基础上，逐步前进步长适中，降低计算　

复杂度的同时又尽可能地保留了信息相关性。ＬＡＲＳ算法的　

基本步骤如下：　

１）ＬＡＲＳ算法判断自变量　与Ｙ的相关度，用相关度最　

大的　对Ｙ进行逼近。　

２）直到另一个　具有相同的对Ｙ的相关度，即　＝　

，

此时开始从　与　的“角分线”方向　逼近Ｙ。　

３）同样的，当出现第三个　对Ｙ相关度与　相同时，将　

纳入到逼近队列中，选择三个向量共同的“角分线”方向　

，，

进行新一轮逼近，此时“角分线”表示高维空间中各向量的　

平分线。　

４）逐步逼近直到残差小于某个阈值或所有自变量都参　

与进逼近，算法结束。　

图１中，两个自变量　。与　与因变量Ｙ相关度Ｉ＂ｘ，，＞ｒｘ　

用　。进行逼近，直至　。与Ｙ的残差和　。、　：的相关度相同，　

２．１多维权重的ＩＡＲＳ方法分析　

在ＬＡＲＳ逐步回归过程中，将所有入选变量视为同等重　

要进行角回归，每次逼近选择与Ｙ最大相关度　，考虑到每个　

回归变量　在回归模型中所占权重不同，即此指标在整体评　

价中的相对重要程度不同，将自变量　与剩余变量的联合相　

关度纳入考虑。每一次逼近，将ｘｊ与．），的相关度及　在整体指　

标中所占重要程度同时作为选择逼近特征的条件。　

对于　、　，原ＬＡＲＳ选择对Ｙ逼近变量的条件是回归变　

量对Ｙ的相关度，此时由ｒｘ．　＞　将　。作为第一逼近变量；　

我们将自变量ｘｊ对整个系统的贡献率作为逼近条件之一，此　

时新的相关度为：　

Ｒｘ　＝　抽　ｌ　（３）　

其中：　为自变量　对系统的贡献率，计算方法将在下面详　

细描述；／／，、　为常数。将自变量对Ｙ相关度与对系统的贡献率　

的乘积作为逼近条件，必然会增加判断条件的值域，为了保留　

系统逼近的稳定性，将乘积限制在某个值域范围内，即规定在　

［　，　］内。　

经过变换后，可能使自变量　的被选人性增加，如　变　

换后向．），靠近　，到达新的向量位　：；　。变换后向Ｙ靠近０。，　

到达新的向量位　。。也可能使自变量被选人性减小，如　。变　

换后向Ｙ偏移　，到达新的向量位ｘ”　，如图２所示。　

图２加人多维权重后　与ｙ的相关性变化　

Ｆｉｇ．２　Ｃｏｒｒｅｌａｔｉｏｎ　ｃｈａｎｇｅ　ｏｆ　ａｎｄ　Ｙ　ａｆｔｅｒ　ｊｏｉｎｉｎｇ　

ｍｕｌｔｉ－ｄｉｍｅｎｓｉｏｎａｌ　ｗｅｉｇｈｔ　

在图２的基础上，采用新的相关度会对系统的逼近过程　

有较大的改变。如图３所示，原初始逼近自变量为　，前进　

至／３　。位置时，出现与残差ｅ＝Ｙ一／３　相关度相同的变量　

２，

逼近方向改为　和　：的角分线，再前进／３：（　；４－　：），完成　

逼近过程。采用新的逼近条件后，逼近过程有了较大改变：此　

时两个自变量被选人性改变，初始逼近自变量变为　，前进　

至ＪＢ　：位置时，　。与残差Ｐ＝Ｙ一卢　２相关度相同，逼近　

方向改为　和　：的角分线，再前进卢　（　。＋　），完成逼近　

过程。可以看出，逼近路径改变，回归变量　和卢　也随着改　

变，得到改进回归方法下的新的回归变量组卢。　

１６７６　计算机应用　第３７卷　

图３加入多维权重后的　前进方向　

Ｆｉｇ．３　Ａｐｐｒｏａｃｈｉｎｇ　ｄｉｒｅｃｔｉｏｎ　ｆｏｒ　ａｆｔｅｒ　ｊｏｉｎｉｎｇ　

ｍｕｌｔｉ－ｄｉｍｅｎｓｉｏｎａｌ　ｗｅｉｇｈｔ　

将上述过程应用到多维高阶系统，将ｍ个特性指标及ｎ　

个对象用矩阵表示为：　

ｌ１　ｌ２　

２ｌ　Ｘ２１　

：　：　

Ｘｎ　＝　

●　●　

（４）　

ｇｇｉｌ　

：　：　

●　●　

ｎ１　ｎ２　

或者表示为：　

Ｘ＝［　…　…　］　（５）　

则应变量ｌｒ用矩阵表示为：　

Ｙ＝［Ｙｌ　Ｙ２…Ｙ　…Ｙ　ｒ　（６）　

回归过程中，　．有多种计算方法，本文采用以下三种权　

重确定方法来控制回归过程。　

１）主成分分析法。　

统计学中，主成分分析（Ｐｒｉｎｃｉｐｌｅ　Ｃｏｍｐｏｎｅｎｔ　Ａｎａｌｙｓｉｓ，　

ＰＣＡ）借用正交变换进行降维　引，将数据变换到一个新的坐　

标系统中，使数据投影的最大方差处于第一坐标（称为第一　

主成分），第二方差处于第二坐标（称为第二主成分），依此类　

推。变换后，保留了数据集的低阶主成分，忽略高阶主成分，　

确定起支配作用的因素，通常保留总体信息利用率高于８５％　

的前ｍ个主成分。借用主成分分析法的思想，同时保留所有　

成分的评价值，确定每个成分的方差贡献率，算法步骤如下：　

对样本进行如下标准化变换：　

ｚ　＝　—　；ｉ＝１，

０　

２，…，ｎ，　＝１，２，…，ｍ　（７）　

其中：　

ｆ　＝∑　ｎ　

？　（８）　

【　＝∑（　一　）　／（ｎ一１）　

将相关系数矩阵Ｒ作为每个特征的信息利用率：　

Ｒ＝［　］…＝Ｚ　Ｚ／（ｎ一１）　（９）　

其中：　

ｒ　＝

∑ｚ　・ｚ　／（ｎ—１）　（１Ｏ）　

２）独立性权数法。　

利用数据统计学中的多元回归方法，对特征的复相关系　

数进行排序，复相关系数越大，所重复的信息越多，信息利用　

率响应越小，权重越小。计算方式如下：　

∑（　一　）（　一　）

可

’　Ｊ：１，２，…，ｍ　

其中：　为　中除去墨的剩余矩阵；　由式（１２）求得。　

Ｘ＝ｍｅａｎ（　）　（１２）　

由Ｒ与权重为负比例关系，取复相关系数的倒数作为评　

分，经归一化处理得到权重系数，最终的权重表示为：　

Ｒ＝［古忐…　１…　］．　＝　，ｚ，…，ｍ　

（１３）　

３）ＣＲＩＴＩＣ法。　

在独立权数法的基础上，更进一步，基于Ｉｎｔｅｒｅｒｉｔｅｒｉａ相　

关性的指标的重要度评价法（ＣＲｉｔｅｒｉａ　Ｉｍｐｏｒｔａｎｃｅ　Ｔｈｏｕｇｈ　

Ｉｎｔｅｒｃｒｉｔｅｒｉａ　Ｃｏｒｒｅｌａｔｉｏｎ，ＣＲＩＴＩＣ）是由Ｄｉａｋｏｕｌａｋｉ［１　提出的一　

种客观权重赋权法，它以确定指标的客观权数来评价指标间　

的对比强度和冲突性为基础。标准差的大小表明在同一指标　

内，各方案取值差距的大小，可用标准差表现对比强度；各指　

标间的冲突性是以指标之间的相关性为基础，可用相关度表　

示冲突性＿　ｌ。计算步骤如下：　

第　个指标与其他指标的冲突性量化指标为：　

∑（１一ｒｆＪ）　（１４）　

其中，ｒ　，表示评价指标　和　之间的相关系数：　

：—　￣／∑（　

一　

）　∑（　一　）　

（１５）　

ｃ，表示第Ｊ个指标所包含的信息量：　

＝　

∑（１一ｒ　）；　＝１　２一，ｍ　（１６）　

ｃ，越大，表示　个评价指标所包含的信息量越大¨　，该　

指标的重要性也就越大，则第　个指标的客观权重表示为：　

＝　

／∑　；　＝１，２，…，ｍ　（１７）　

以上所述三个方法得到权重后，将权重足集中化后表示　

权重对前进方向的影响：　

Ｒ　＝ｃｅｎｔｒａｌｉｚａｔｉｏｎ（　，）　（１８）　

２．２算法步骤　

为获得稳定的数值解，对式（２）进行预处理和归一化，消　

去常数　，并使结果向量Ｙ和自变量向量　：１，２，…，ｍ）零　

均值且ｚ：范数归一。　

定义指标集Ａ＝｛０１ｘｉ１，　，…，ｓｙｔｘｉ￣，…，ｓｊｋｘｉ￣｝　｛１，２，　

…

，

ｍ｝，存在从　中选出的满足指标集Ａ的列向量　，使其与　

Ｙ同向。　

Ｘａ＝［Ｓｊｌ　１，　，…，ｓｉｔｘｊ￣，…，　］∈Ｒ　（Ｉ９）　

其中　为符号变量：　

ｒ１，　（　，．），）＞０　

｛０，　（　，Ｙ）＝０　

（２０）　

Ｌ一１

，　

（　，Ｙ）＜０　

定义　中向量的“角分线”ｎ　：　

ｒ　＝　

ｌ　：（１　ｔ　－１　）一手　

（２１）　

ｌ’．’＾：ＡａＧ　１＾　

【　：　ｗ　

第６期　陈善雄等：针对Ｌａｓｓｏ问题的多维权重求解算法　１６７７　

其中：１　为长度为ｌ　Ａ１　０所有元素为１的列向量；　是角分线　

上的单位矢量；＇．，　可理解为选中的变量集　

＇．’　进行加权处理。　

中每个属性　

３实验结果与分析　

３．１数据集　

对角分线的贡献度。为改变前进方向与前进变量的选择，对　

进一步具体描述，初始逼近方向“。＝０，且每次逼近产生　

数据集采用美国约翰・霍普金斯大学应用物理实验室　

（Ａｐｐｌｉｅｄ　Ｐｈｙｓｉｃｓ　Ｌａｂｏｒａｔｏｒｙ，，Ｉ’｝ｌｅ　Ｊｏｈｎｓ　Ｈｏｐｋｉｎｓ　Ｕｎｉｖｅｒｓｉｔｙ）提　

新的Ｕ，假设上一步结束时算法的估计是　，则Ｃ表示为当前　

各自变向量与因变向量的相关度：　

ｃ＝ＸＴ（ｙ一　）或ｃ，＝（　，，Ｙ一　）　（２２）　

取Ｃ＝ｍａｘ｛Ｉ　ｃ　Ｉ｝时的指标集Ａ所对应的Ｕ　作为逼近　

供的皮马印第安人糖尿病数据集（Ｐｉｍａ　Ｉｎｄｉａｎｓ　Ｄｉａｂｅｔｅｓ　Ｄａｔａ　

Ｓｅｔ）［１４１。该数据记录了７６８个体征性能描述与糖尿病阴阳　

性样本，包括８个属性变量和一个分类值，分类值中“１”表示　

检测结果为阳性，…０表示检测结果为阴性。将８个不同属　

方向，令：　

ｓ　＝ｓｉｇｎ｛Ｃ｝；Ｊ∈Ａ　（２３）　

ａ＝　Ａ或ａｊ＝（　，，Ｕ＾＞　（２４）　

此时算法沿Ｕ　方向前进的长度为：　

删　ｉ｛　，　ｊ）　（２５）　

式中ｍｉｎ上面的加号表示在此轮逼近中，只计算集合中正数　

的最小值。每个Ａ中的自变向量相应增加　＇．，　，同时加入权重　

控制逼近方向：　

＝Ｗ×　（２６）　

＝

卢＾　Ｔｗ　（２７）　

其中　为从Ｒ　中取出的与Ｗ同维的权重矩阵。下一步前进方　

向五　估计为：　

＋

＝　ｙ　（２８）　

之后需要引入新的元素：　

Ａ＋＝Ａ　ｕ｛　｝　（２９）　

其中　是为式（２５）取最小值的　，为了符合Ｌａｓｓｏ解要求与当　

前逼近保持同向，在最早出现异号的步长为：　

＝ｍｉｎ　ｌ＿ｔ￣／ｗｊ｝　（３０）　

当　＜ｙ，存在异号，此时将相应的　从Ａ中除去。至此算　

法进入下一次逼近，用Ａ＋代替Ａ重复上述步骤，直到残差足　

够小或所有自变量都被使用过。算法描述如下。　

输入自变量集ｘ，因变量集ｙ，误差项８；　

输出　式（２）中的回归系数卢。　

１）程序准备；　

２）数据预处理，对ｘ、ｙ归一化；　

３）初始化：逼近方向Ｕ：０，残差　＝Ｙ一　；　

４）ｃ＝巧；　

）ｃ　

６）ｊ＝ａｒｇ　ｍａｘ｛Ｉ　ｃｊ　ｌｌ，Ａ＝　；　

７）Ｒ　ｉｇｈｌ＝ＰＣＡ（Ｘ）或　ｉ咖＝ＩＷ（Ｘ）或詹　ｉ曲ｔ＝ＣＲＩＴＩＣ（Ｘ）　

８）集中化Ｒ　；　

９）当ＩＩ　ｌ　Ｉ２＜　且Ｉ　Ａ　１≤ｍ执行循环；　

１Ｏ）ＬＡＲＳ循环中　

ｒａｔｅ＝Ｒ　。ｉＥｈＩ（１：ｒｏｗ（　），：）；　

Ｗ　＝Ｗ　ｒａｔｅ：　

１１）循环结束；　

１２）返回回归系数卢。　

算法加入权重分析，增加了计算步骤，使得计算时间增　

加，但统计模型中各自变向量与因变向量的前进机制不变，空　

间复杂度与原算法保持一致。　

性值作为输入自变量置，是否患病作为输出因变量ｙ验证算　

法，检测目标是在原ＥＡＲＳ算法结果上对检测结果准确度加　

以改进。　

３．２验证条件　

为了更直观地对本文提出的方法性能进行评估比较，本　

文采用ＲＯＣ睦线展示结果。参与者糖尿病检测阴阳性为二　

元分类问题，检测的结果有以下四种类型：　

１）真阳性（Ｔｒｕｅ　Ｐｏｓｉｔｉｖｅ，ＴＰ）：检测为阳性，实际上也为　

阳性。２）伪阳性（Ｆａｌｓｅ　Ｐｏｓｉｔｉｖｅ，ＦＰ）：检测为阳性，实际却为　

阴性。３）真阴性（Ｔｒｕｅ　Ｎｅｇａｔｉｖｅ，ＴＮ）：检测为阴性，实际上也　

为阴性。４）伪阴性（Ｆａｌｓｅ　Ｎｅｇａｔｉｖｅ，ＦＮ）：检测为阴性，实际却　

为阳性。　

通过ＲＯＣ空间四个基础类型统计，Ｐ表示正例，Ⅳ表示　

负例，采用以下三个性质作为检查标准：　

１）准确度（ＡＣＣｕｒａｃｙ，ＡＣＣ）：　

ＡＣＣ＝（ＴＰ＋　Ⅳ）／（Ｐ＋Ⅳ）　

２）真阴性率（Ｔｒｕｅ　Ｐｏｓｉｔｉｖｅ　Ｒａｔｉｏ，ＴＰＲ）：　

ＴＰＲ＝ＴＰ／Ｐ＝ＴＰ／ｒ　ＴＰ＋ＦＮ）　

３）阴性预测值（Ｎｅｇａｔｉｖｅ　Ｐｒｅｄｉｃｔｉｖｅ　Ｖａｌｕｅ，ＮＰＶ）：　

ＮＰＶ＝ＴＮ／（ＴＮ＋ＦＮ、　

３．３实验结果　

对于阈值ｔ，从０开始以０．０１为步长进行增加至１，以阴　

阳性为因变量，８个属性特征性能值为自变量，绘出准确度、　

阳性预测值、真阴性率的变化曲线。　

图４展示了在Ｐｉｍａ　Ｉｎｄｉａｎｓ　Ｄｉｂａｅｔｅｓ数据集下，Ｌａｓｓｏ算　

法每轮循环后准确度以及Ｌａｓｓｏ算法每轮循环后的三项检查　

指标的综合最优值。　

ＮＰＶ表示检测为阳性的人中实际为阳性即检测正确的　

比例，图４中显示，加人权重后Ｌａｓｓｏ解法的ＮＰＶ均有所提　

高，其中，加入主成分分析后ＮＰＶ提高５．１６个百分点，采用　

独立权数法ＮＰＶ提高５．５８个百分点，采用ＣＲＩＴＩＣ法ＮＰＶ提　

高５．１个百分点。　

与ＮＰＶ相比较，真阴性率（ＴＰＲ）又称命中率，表示检测　

为阳性的人中检测正确的比例。图４中显示，ＰＣＡ对算法前　

进方向的改变使得ＴＰＲ提高１３个百分点，独立权数法使　

ＴＰＲ提高１４个百分点，ＣＲＩＴＩＣ使ＴＰＲ提高１３个百分点。　

准确度（ＡＣＣ）表示在因变量阳性和阴性的总和中，经　

Ｌａｓｓｏ求解判断正确的个体点的个数，即检测为阳性、实际也　

阳性与检测为阴性、实际也为阴性的人数的总和，可以看出，　

加入主成分分析使得ＡＣＣ增加了０．３２个百分点，加人　

ＣＲＩＴＩＣ法对ＡＣＣ无影响，加入独立权数法后的Ｌａｓｓｏ解法使　

ｌ６７８　计算机应用　第３７卷　

得ＡＣＣ提高了０．３２个百分点，三个方法都使ＡＣＣ保持不变　

或有所提高。　

综合以上三个指标，可以发现加入多维度权重的前进方　

向后，系统最优解的阈值减小，代表系统回归系数绝对值之和　

法每轮循环因变量与角分线方向的残量的平方和（Ｓｕｍ　ｏｆ　

Ｓｑｕａｒｅｄ　Ｒｅｓｉｄｕａｌｓ，ＳＳＲ），而ＳＳＲ平稳的转折点就对应了　

遥盛　

ｌ　０　０　０　Ｏ　Ｏ　０　０　０　０　０　

Ｌａｓｓｏ在Ｐｉｍａ　Ｉｎｄｉａｎｓ　Ｄｉａｂｅｔｅｓ数据集中进行回归的最佳自变　

０　９　８　７　６　５　４　３　２　ｌ　０　

量系数。　

小于某一更小的阈值，即在更苛刻的阈值范围内满足要求。　

ｔ　

（ａ）标准的ＬＡＲＳ的检测效果　

ｒ　

（ｂ）采用ＰＣＡ作为ＬＡＲＳ权重确定方法的检测效果　

０．０　０．１　０．２　０．３　０．４　０．５　０．６　０．７　０．８　０．９　１．０　

ｆ　

（ｃ）采用独立性权数法作为ＬＡＲＳ权重确定方法的检测效果　

ｔ　

（ｄ）采用ＣＲＩＴＩＣ法作为ＬＡＲＳ权重确定方法的检测效果　

图４不同检测标准曲线　

Ｆｉｇ．４　Ｃｕｒｖｅｓ　ｏｆ　ｄｉｆｆｅｒｅｎｔ　ｄｅｔｅｃｔｉｏｎ　ｓｔａｎｄａｒｄｓ　

图５展示了在Ｐｉｍａ　Ｉｎｄｉａｎｓ　Ｄｉａｂｅｔｅｓ数据集下，Ｌａｓｓｏ算　

７．５　

７．０　

６．５　

６．Ｏ　

５．５　

５．０　

４．５　

４．０　

３．５　

０　０　０．１　０．２　０．３　０．４　０．５　ｏ．６　０．７　ｏ．８　０．９　１．０　

ｔ　

（ａ）标准的ＬＡＲＳ方法　

ｔ　

（ｂ）采用ＰＣＡ作为ＬＡＲＳ权重确定的方法　

７・５　

７．０　

６・５　

６．０　

受５．５　

们　

５・Ｏ　

４－５　

４．Ｏ　

３．５　

０　０　０．１　０．２　０．３　０．４　０．５　０．６　０．７　０．８　０．９　１．０　

ｆ　

（ｃ）采用独立性权数法作为ＬＡＲＳ权重确定的方法　

７．５　

０　０．１　０．２　０．３　０．４　０．５　０．６　０．７　０．８　０．９　１．０　

ｔ　

（ｄ）采用ＣＲＩＴＩＣ法作为ＬＡＲＳ权重确定的方法　

图５　因变量与角分线方向的残量的平方曲线　

Ｆｉｇ．５　Ｃｕｒｖｅ　ｏｆ　ｔｈｅ　ｓｕｍ　ｏｆ　ｓｑｕａｒｅｄ　ｒｅｓｉｄｕａｌｓ　ｆｏｒ　ｄｅｐｅｎｄｅｎｔ　

ｖａｒｉａｂｌｅ　ａｎｄ　ａｎｇｌｅ　ｂｉｓｅｃｔｏｒ　ｄｉｒｅｃｔｉｏｎ　

由图５可以看出，加入不同权重判定后，ＳＳＲ的整体走向　

完全一致，且最佳系数处对应的残量基本保持一致，加入权重　

第６期　陈善雄等：针对Ｌａｓｓｏ问题的多维权重求解算法　１６７９　

后不会改变Ｌａｓｓｏ解法原有的优点。最佳自变量系数有明显　

的增大，此时所对应的因变量与角分线方向的残量有所变化，　

其中：加入主成分分析法的Ｌａｓｓｏ解法增加了５．１个百分点　

的残量，加入独立权数法降低了２．１个百分点的残量，加入　

ＣＲＩＴＩＣ法降低了２．１个百分点的残量，即加人独立权数法和　

ＣＲＩＴＩＣ法后最后的回归结果更接近真实因变量。　

综合以上指标，加入独立权数法后Ｌａｓｓｏ解的准确性最　

高，其次是ＣＲＩＴＩＣ法和主成分分析法。加入权重通过改变回　

归系数方向提高解准确性，表１展示了原始的回归系数　以　

及加入主成分分析法后的卢一ＰＣＡ，加入独立权数法后的　

卢一ＩＷ，加入ＣＲＩＴＩＣ法后的卢一ＣＲＩＴＩＣ。从表１中可以看出，　

卢一ＩＷ对应的回归系数相对于原始回归系数有一定减小，取值　

区间变窄，但其收敛性没有改变，而且从图５中可以看出，其　

回归结果更加准确。　

表１不同方法回归系数　

Ｔａｂ．１　Ｒｅｇｒｅｓｓｉｏｎ　ｃｏｅｆｉｃｉｅｎｔｆｓ　ｏｆ　ｄｉｆｅｒｅｎｔ　ｍｅｔｈｏｄｓ　

ｔｈｅ　Ｏｐｔｉｃａｌ　Ｓｏｃｉｅｔｙ　ｏｆ　Ａｍｅｒｉｃａ　Ａ。——Ｏｐｔｉｃｓ　Ｉｍａｇｅ　Ｓｃｉｅｎｃｅ　ａｎｄ　Ｖｉ－　

４　结语　

本文针对Ｌａｓｓｏ问题的解法即ＬＡＲＳ算法的选择变量与　

前进方向过程，提出了基于多维权重的ＬＡＲＳ算法，提高了　

Ｌａｓｓｏ问题解的准确性，并且保持原Ｌａｓｓｏ的参数估计具有稳　

定的回归系数、较少参数数量的同时具有较好的参数收敛一　

致性，并采用Ｐｔｍａ　Ｉｎｄｉａｎｓ　Ｄｉａｂｅｔｅｓ数据集验证算法的有效　

性。由于自变量集维数较大，计算权重的准确度存在瑕疵，因　

此以后研究中需要进一步优化嵌入的确定权重的算法，以提　

ｓｉｏｎ，２０１３，３０（１）：１３—２１．　

Ｊ．Ｆｏｒｅｃａｓｔｉｎｇ　ｓｔｏｃｋ　ｍａｒｋｅｔ　ｉｎｄｅｘｅｓ　ｕｓｉｎｇ　ｐｒｉｎｅｉ—　

［９］　

ＷＡＮＧ　Ｊ，ＷＡＮＧ　

ｐｉｅ　ｃｏｍｐｏｎｅｎｔ　ａｎａｌｙｓｉｓ　ａｎｄ　ｓｔｏｃｈａｓｔｉｃ　ｔｉｍｅ　ｅｆｆｅｃｔｉｖｅ　ｎｅｕｒｌ　ｎｅｔａｗｏｒｋｓ　

［Ｊ］．Ｎｅｕｒｏｃｏｍｐｕｔｉｎｇ，２０１５，１５６：６８—７８．　

Ｓ　Ｌ．Ｄｅｔｅｒｍｉ－　

【１０】　

ＤＩＡＫＯＵＬＡＫ１　Ｄ，ＭＡＶＲＯＴＡＳ　Ｇ，ＰＡＰＡＹＡＮＮＡＫＩ

ｎｉｎｇ　ｏｂｊｅｃｔｉｖｅ　ｗｅｉｇｈｔｓ　ｉｎ　ｍｕｌｔｉｐｌｅ　ｃｒｉｔｅｒｉａ　ｐｒｏｂｌｅｍｓ：ｔｈｅ　ＣＲＩＴＩＣ　

ｍｅｔｈｏｄ［Ｊ】．Ｃｏｍｐｕｔｅｒｓ＆Ｏｐｅｒａｔｉｏｎｓ　Ｒｅｓｅａｒｃｈ，１９９５，２２（７）：７６３　

—

７７０．　

升回归算法在利用权重改变前进变量和前进方向选择时的精　

度和准确度。　

ＡＬＨＡＭＺＡＷＩ　Ｒ，ＹＵ　Ｋ　Ｍ．Ｂａｙｅｓｉａｎ　Ｌａｓｓｏ—ｍｉｘｅｄ　ｑｕａｎｔｉｌｅ　ｒｅｇｒｅｓ—　

ｓｉｏｎ【Ｊ］．Ｊｏｕｒｎａｌ　ｏｆ　Ｓｔａｔｉｓｔｉｃａｌ　Ｃｏｍｐｕｔａｔｉｏｎ　ａｎｄ　Ｓｉｍｕｌａｔｉｏｎ，２０１４，　

８４（４）：８６８—８８０．　

参考文献（Ｒｅｆｅｒｅｎｃｅｓ）　

【１］　马景义，张辛连，苏治，等．广义线性模型组ＬＡＳＳＯ路径算法　

【Ｊ】．中国科学：数学，２０１５，４５（１０）：１７２５—１７３８．（ＭＡ　Ｊ　Ｙ，　

ＺＨＡＮＧ　Ｘ　Ｌ，ＳＵ　Ｚ，ｅｔ　ａ１．Ａｎ　ａｌｇｏｒｉｔｈｍ　ｆｏｒ　ｔｈｅ　ｅｓｔｉｍａｔｉｏｎ　ｏｆ　ｒｅｇｕ—　

ｌａｒｉｚａｔｉｏｎ　ｐａｔｈｓ　ｏｆ　ｇｅｎｅｒａｌｉｚｅｄ　ｌｉｎｅａｒ　ｍｏｄｅｌｓ　ｗｉｔｈ　ｇｒｏｕｐ　ＬＡＳＳＯ　ｐｅｎ—　

［１２】　ＫＡＵＬ　Ａ．Ｌａｓｓｏ　ｗｉｔｈ　ｌｏｎｇ　ｍｅｍｏｒｙ　ｒｅｇｒｅｓｓｉｏｎ　ｅ￣ｏｒｓ［Ｊ】．Ｊｏｕｒｎａｌ　ｏｆ　

Ｓｔａｔｉｓｔｉｃａｌ　Ｐｌａｎｎｉｎｇ　ａｎｄ　Ｉｎｆｅｒｅｎｃｅ。２０１４，１５３：１　１—２６．　

ｖｅ　ｄｅｃｉｓｉｏｎ—ｍａｋｉｎｇ　ａｐｐｒｏａｃｈ　ｂａｓｅｄ　

【１３］　

Ｕ　Ｌ　Ｈ．ＭＯ　Ｒ．Ａ　ｃｏｍｐｒｅｈｅｎｓｉ

ｏｎ　ｈｉｅｒａｒｃｈｉｃａｌ　ａｔｔｉｒｂｕｔｅ　ｍｏｄｅｌ　ｆｏｒ　ｉｎｆｏｒｍａｔｉｏｎ　ｆｕｓｉｏｎ　ａｌｇｏｒｉｔｈｍｓ’　

ａｌｔｙ【Ｊ］．ＳＣＩＥＮＴＩＡ　ＳＩＮＩＣＡ　Ｍａｔｈｅｍａｔｉｃａ，２０１５，４５（１０）：１７２５—　

１７３８．）　

【２】　ＦＲＡＮＫ　Ｉ　Ｅ，ＦＲＩＥＤＭＡＮ　Ｊ　Ｈ．Ａ　ｓｔａｔｉｓｔｉｃａｌ　ｖｉｅｗ　ｏｆ　ｓｏｍｅ　ｃｈｅｍｏｍｅｔ—　

ｐｅｒｆｏｒｍａｎｃｅ　ｅｖａｌｕａｔｉｏｎ［Ｊ］．Ｍａｔｈｅｍａｔｉｃａｌ　Ｐｒｏｂｌｅｍｓ　ｉｎ　Ｅｎｇｉｎｅｅｒ－　

ｉｎｇ，２０１４，２０１４：Ａｒｔｉｃｌｅ　ＩＤ　１２４１５６．　

［１４】　ＢＡＣＨＥ　Ｋ，ＬＩＣＨＭＡＮ　Ｍ．ＵＣＩ　ｍａｃｈｉｎｅ　ｌｅａｒｎｉｎｇ　ｒｅｐｏｓｉｔｏｒｙ【ＤＢ／　

ＯＬ】．１ｒｖｉｎｅ，ＣＡ：Ｕｎｉｖｅｒｓｉｔｙ　ｏｆ　Ｃａｌｉｏｒｆｎｉａ．【２０１６—０９－２０］．ｈｔ－　

ｔｐ：／／ａｒｃｈｉｖｅ．ｉｃｓ．ｕｃｉ．ｅｄｕ／ｍ１．　

ｒｉｅｓ　ｒｅｇｒｅｓｓｉｏｎ　ｔｏｏｌｓ【Ｊ】．Ｔｅｃｈｎｏｍｅｔｒｉｃｓ，１９９３，３５（２）：１０９—１３５．　

【３】　ＢＲＥＩＭＡＮ　Ｌ．Ｂｅｔｔｅｒ　ｓｕｂｓｅｔ　ｒｅｇｒｅｓｓｉｏｎ　ｕｓｉｎｇ　ｔｈｅ　ｎｏｎｎｅｇａｔｉｖｅ　ｇａｒｒｏｔｅ　

【Ｊ】．Ｔｅｃｈｎｏｍｅｔｒｉｃｓ，１９９５，３７（４）：３７３—３８４．　

［４］ＴＩＢＳＨＩＲＡＮＩ　Ｒ．Ｒｅｇｒｅｓｓｉｏｎ　ｓｈｒｉｎｋａｇｅ　ａｎｄ　ｓｅｌｅｃｔｉｏｎ　ｖｉａ　ｔｈｅ　Ｌａｓｓｏ　

ｈｉＴｓ　ｗｏｒｋ　ｉｓ　ｐａｒｔｉｌｌｙ　ｓａｕｐｐｏｒｔｅｄ　ｂｙ　ｔｈｅ　Ｎａｔｉｏｎａｌ　Ｎａｔｕｒａｌ　Ｓｃｉｅｎｃｅ　Ｆｏｕｎ—　

【Ｊ］．Ｊｏｕｒｎａｌ　ｏｆ　ｈｅ　Ｒｏｙａｔｌ　Ｓｔａｔｉｓｔｉｃａｌ　Ｓｏｃｉｅｔｙ．Ｓｅｒｉｅｓ　Ｂ（Ｍｅｔｈｏｄｏｌｏｇｉ—　

ｃａ１），１９９６，５８（１）：２６７—２８８．　

【５］　ＥＦＲＯＮ　Ｂ，ＨＡＳＴＩＥ　Ｔ，ＪＯＨＮＳＴＯＮＥ　Ｉ，ｅｔ　ａ１．Ｌｅａｓｔ　ａｎｇｌｅ　ｒｅｇｒｅｓ・　

ｓｉｏｎ［Ｊ】．Ｔｈｅ　Ａｎｎａｌｓ　ｏｆ　Ｓｔａｔｉｓｔｉｃｓ，２００４，３２（２）：４０７—４９９．　

ｄａｔｉｏｎ　ｏｆ　Ｃｈｉｎａ（６１３０３２２７），ｔｈｅ　Ｐｌａｎ　ｏｆ　Ｇｕｉｚｈｏｕ　Ｐｒｏｖｉｎｃｉａｌ　Ｓｃｉｅｎｃｅ　ａｎｄ　

Ｔｅｃｈｎｏｌｏｇｙ　Ｔａｌｅｎｔｓ　ｉｎ　Ｕｎｉｖｅｒｓｉｔｉｅｓ（ＫＥＨＥ　ＫＹ［２０１６】０９８），ｔｈｅ　Ｊｏｉｎｔ　

Ｆｕｎｄ　ｏｆ　Ｇｕｉｚｈｏｕ　Ｓｃｉｅｎｃｅ　ａｎｄ　Ｔｅｃｈｎｏｌｏｇｙ　Ａｇｅｎｃｙ（ＫＥＨＥ　ＬＨ【２０１６】　

７０５３）．　

［６】　李锋，盖玉洁，卢一强．测量误差模型的自适应ＬＡＳＳＯ变量选择　

方法研究【Ｊ］．中国科学：数学，２０１４，４４（９）：９８３—１００６．（ＬＩ　Ｆ，　

ＧＡＩ　Ｙ　Ｊ，Ｌｕ　Ｙ　Ｑ．Ａｄａｐｔｉｖｅ　ＬＡＳＳＯ　ｆｏｒ　ｍｅａｓｕｒｅｍｅｎｔ　ｅｒｒｏｒ　ｍｏｄｅｌｓ　

［Ｊ］．ＳＣＩＥＮＴＩＡ　ＳＩＮＩＣＡ　Ｍａｔｈｅｍａｔｉｃａ，２０１４，４４（９）：９８３—１００６．）　

【７】　ＭＡＲＡＨＩＥＬ　Ｍ　Ａ．Ｉｎｔｒｏｄｕｃｉｎｇ　Ｌａｓｓｏ　ｐｅｐｔｉｄｅｓ　ａｓ　ａ　ｍｏｌｅｃｕｌｒ　ｓｅａｆａ－　

ＣＩ－ＩＥＮ　Ｓｈａｎｘｉｏｎｇ，ｂｏｒｎ　ｉｎ　１９８１，Ｐｈ．Ｄ．，ａｓｓｏｃｉａｔｅ　ｐｒｏｆｅｓｓｏｒ．Ｈｉｓ　

ｒｅｓｅａｒｃｈ　ｉｎｔｅｒｅｓｔｓ　ｉｎｃｌｕｄｅ　ｃｏｍｐｒｅｓｓｅｄ　ｓｅｎｓｉｎｇ，ａｎｏｍａｌｙ　ｄｅｔｅｃｔｉｏｎ，ｐａｔｔｅｒｎ　

ｒｅｃｏｇｎｉｔｉｏｎ．　

ＬＩＵ　Ｘｉａｏｊｕａｎ，ｂｏｒｎ　ｉｎ　１９９０，Ｍ．Ｓ．，ａｓｓｉｓｔｎｔ．Ｈｅｒａ　ｒｅｓｅａｒｃｈ　ｉｎｔｅｒ－　

ｅｓｔｓ　ｉｎｃｌｕｄｅ　ｐａｔｔｅｒｎ　ｒｅｃｏｇｎｉｔｉｏｎ，ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ．　

ＣＨＥＮ　Ｃｈｕｎｒｏｎｇ，ｂｏｒｎ　ｉｎ　１９９５，Ｍ．Ｓ．ｃａｎｄｉｄａｔｅ．Ｈｅｒ　ｒｅｓｅａｒｃｈ　

ｉｎｔｅｒｅｓｔ　ｉｎｃｌｕｄｅ　ｄａｔａ　ｍｉｎｉｎｇ，ｉｎｔｅｌｌｉｇｅｎｔ　ｉｆｏｒｎｍａｔｉｏｎ　ｐｒｏｃｅｓｓｉｎｇ．　

ｆｏｌｄ　ｆｏｒ　ｄｒｕｇ　ｄｅｓｉｇｎ［Ｊ］．Ｊｏｕｒｎａｌ　ｏｆ　Ｐｅｐｔｉｄｅ　Ｓｃｉｅｎｃｅ，２０１４，２０：￥２７　

一

Ｓ２８．　

【８】　ＳＨＡＨＢＥＩＧ　Ｓ，ＰＯＵＲＧＨＡＳＳＥＭ　Ｈ．Ｆａｓｔ　ａｎｄ　ａｕｔｏｍａｔｉｃ　ａｌｇｏｒｉｔｈｍ　

ｏｒ　ｏｐｔｆｉｃ　ｄｉｓｃ　ｅｘｔｒａｃｔｉｏｎ　ｉｎ　ｒｅｔｉｎａｌ　ｉｍａｇｅｓ　ｕｓｉｎｇ　ｐｒｉｎｃｉｐｌｅ－－ｃｏｍｐｏｎｅｎｔ・・　ＺＨＥＮＧ　Ｆａｎｇｙｕａｎ，ｂｏｒｎ　ｉｎ　１９９４，Ｍ．Ｓ．ｃａｎｄｉｄａｔｅ．Ｈｉｓ　ｒｅｓｅａｒｃｈ　

ｉｎｔｅｒｅｓｔ　ｉｎｃｌｕｄｅ　ａｎｏｍａｌｙ　ｄｅｔｅｃｔｉｏｎ，ｎｅｔｗｏｒｋ　ｓｅｃｕｒｉｔｙ．　

ｎａｌｙｓｉａｓ—ｂａｓｅｄ　ｐｒｅｐｒｏｅｅｓｓｉｎｇ　ａｎｄ　ｅｕｒｖｅｌｅｔ　ｔｒａｎｓｆｏｒｍ［Ｊ】．　Ｊｏｕｒｎａｌ　ｏｆ