中文微博的Hashtag话题相关性分析

第４０卷第１１Ａ期　

２０１３年１】月　

计算机科学　

Ｖｏ１．４０　Ｎｏ．１１Ａ　

ＮＯＶ　２０１３　

Ｃｏｍｐｕｔｅｒ　Ｓｃｉｅｎｃｅ　

中文微博的Ｈａｓｈｔａｇ话题相关性分析　

胡长龙唐晋韬王挺　

（国防科学技术大学计算机学院　长沙４１００７３）　

摘要Ｈａｓｈｔａｇ（微博话题词）是发布者为微博信息创建的话题标签，能帮助用户在海量微博数据中高效发现热点话　

题。Ｈａｓｈｔａｇ由用户创建的特性使得不同的Ｈａｓｈｔａｇ可能代表着同一个话题，挖掘Ｈａｓｈｔａｇ之间的话题相关性将有　

助于热点话题发现和聚合展示。研究了Ｈａｓｈｔａｇ之间相关性分析问题，抽取了Ｈａｓｈｔａｇ文本特征、微博内容、Ｈａｓｈｔａｇ　

的出现次数一时间分布以及Ｈａｓｈｔａｇ共现等一系列特征，以分析Ｈａｓｈｔａｇ之间的话题相关性。在新浪微博数据上的实　

验结果显示，这一系列特征组合能较好地帮助Ｈａｓｈｔａｇ相关性分析。　

关键词微博，话题相关性，Ｈａｓｈｔａｇ，特征抽取　

Ｔｏｐｉｃａ！．Ｒｅｌｅｖａｎｃｅ　Ａｎａｌｙｓｉｓ　ｏｆ　Ｈａｓｈｔａｇｓ　ｉｎ　Ｃｈｉｎｅｓｅ　Ｍｉｃｒｏｂｌｏｇｇｉｎｇ　Ｅｎｖｉｒｏｎｍｅｎｔ　

ＨＵ　Ｃｈａｎｇ－ｌｏｎｇ　ＴＡＮＧ　Ｊｉｎ－ｔａｏ　ＷＡＮＧ　Ｔｉｎｇ　

（Ｃｏｌｌｅｇｅ　ｏｆ　Ｃｏｍｐｕｔｅｒ，Ｎａｔｉｏｎａｌ　Ｕｎｉｖｅｒｓｉｔｙ　ｏｆ　Ｄｅｆｅｎｓｅ　Ｔｅｃｈｎｏｌｏｇｙ，Ｃｈａｎｇｓｈａ　４１００７３，Ｃｈｉｎａ）　

Ａｂｓｔｒａｃｔ　Ｈａｓｈｔａｇ（ｔｈｅ　ｔｏｐｉｃａｌ　ｗｏｒｄｓ　ｏｆ　ａ　ｍｉｅｒｏ￣ｂｌｏｇ）ｉｓ　ａ　ｋｉｎｄ　ｏｆ　ｔｏｐｉｃ　ｌａｂｅｌ　ｏｆ　ｍｉｃｒｏｂｌｏｇ　ｃｒｅａｔｅｄ　ｂｙ　ｐｕｂｌｉｓｈｅｒ，ｗｈｉｃｈ　

ｃａｎ　ｈｅｌｐ　ｕｓｅｒｓ　ｆｉｎｄ　ｈｏｔ　ｔｏｐｉｃｓ　ｅｆｆｉｃｉｅｎｔｌｙ　ｆｒｏｍ　ｔｈｅ　ｍａｓｓｉｖｅ　ｍｉｃｒｏ－ｂｌｏｇ　ｄａｔａ．Ｄｉｆｆｅｒｅｎｔ　Ｈａｓｈｔａｇｓ　ｃｒｅａｔｅｄ　ｂｙ　ｄｉｆｆｅｒｅｎｔ　ｐｕｂ—　

ｌｉｓｈｅｒ　ｍａｙ　ｄｅｓｃｒｉｂｅ　ｔｈｅ　ｓａｌＴｌｅ　ｔｏｐｉｃ．Ｔｈｕｓ　ｍｉｎｉｎｇ　ｔｈｅ　ｒｅｌｅｖａｎｃｅ　ｂｅｔｗｅｅｎ　ｔｈｅ　Ｈａｓｈｔａｇｓ　ｗｉｌｌ　ｈｅｌｐ　ｔｏ　ｆｉｎｄ　ｈｏｔ　ｔｏｐｉｃｓ　ｍｏｒｅ　

ｅｆｆｉｃｉｅｎｔｌｙ．Ｉｎ　ｔｈｉｓ　ｐａｐｅｒ，ａ　ｗｉｄｅ　ｒａｎｇｅ　ｏｆ　ｆｅａｔｕｒｅｓ　ｗｅｒｅ　ｅｘｐｌｏｒｅｄ　ｔｏ　ａｎａｌｙｚｅ　ｔｈｅ　ｔｏｐｉｃａｌ　ｒｅｌｅｖａｎｃｅ　ｂｅｔｗｅｅｎ　Ｈａｓｈｔａｇｓ，ｓｕｃｈ　

ａｓ　ｔｈｅ　Ｈａｓｈｔａｇ　ｔｅｘｔ，ｃｏｎｔｅｎｔ　ｏｆ　ｔｈｅ　ｒｅｌａｔｅｄ　ｍｉｅｒｏｂｌｏｇ，ｔｈｅ　ｔｉｍｅ　ｏｆ　ｏｃｃｕｒｒｅｎｃｅ　ａｎｄ　ｔｈｅ　ｃｏ－ｏｃｃｕｒｒｅｎｃｅｓ　ｏｆ　Ｈａｓｈｔａｇｓ．Ｔｈｅ　

ｅｘｐｅｒｉｍｅｎｔａｌ　ｒｅｓｕｌｔｓ　ｓｈｏｗ　ｔｈａｔ　ｔｈｅ　ｐｒｏｐｏｓｅｄ　ｆｅａｔｕｒｅｓ　ａｒｅ　ｈｅｌｐｆｕｌ　ｆｏｒ　ｔｏｐｉｃａｌ　ｒｅｌｅｖａｎｃｅ　ａｎａｌｙｓｉｓ　ｏｆ　Ｈａｓｈｔａｇｓ．　

Ｋｅｙｗｏｒｄｓ　Ｍｉｅｒｏ－ｂｌｏｇ，Ｔｏｐｉｃａｌ　ｒｅｌｅｖａｎｃｅ，Ｈａｓｈｔａｇ，Ｆｅａｔｕｒｅ　ｅｘｔｒａｃｔｉｏｎ　

１　引言　

近年来，以微博为代表的社交媒体的发展非常迅速。微　

博是一个基于用户关系信息分享、传播以及获取的平台。用　

户可以通过Ｗｅｂ、移动设备客户端等方式便利地发布不超过　

１４０字的微博信息，并在社交圈中即时分享及传播。　

因为对于某热点事件、新闻话题而言，由于不同发布者的描述　

习惯不一致或者侧重了话题的不同方面，常常有多个Ｈａｓｈ—　

ｔａｇ描述相同的情况。例如，“＃甘肃定西地震救援＃”这一　

Ｈａｓｈｔａｇ，它更多描述的是甘肃地震的救援情况。　

从海量数据中挖掘热点话题一直是社会媒体中信息传播　

研究的一个基础问题。如果能挖掘出指向同一话题的不同　

Ｈａｓｈｔａｇ，则可以更好地利用Ｈａｓｈｔａｇ进行微博聚类、从海量　

数据中提取热点话题，并将与某话题相关的Ｈａｓｈｔａｇ、微博文　

本聚合呈现给用户，方便用户对该话题的了解以及交流。　

微博等社交媒体中的信息主要由广大个人用户发布传　

播，因此其一方面在创造海量信息及话题，但另一方面却因信　

息的碎片化、冗余化而难以被有效利用。２００７年，Ｔｗｉｔｔｅｒ推　

出了Ｈａｓｈｔａｇ（话题词）功能。在Ｔｗｉｔｔｅｒ中，Ｈａｓｈｔａｇ是以”　

本文以新浪微博作为研究对象，分析中文微博平台上　

Ｈａｓｈｔａｇ之间的话题相关性。我们希望在给定若干个Ｈａｓｈ—　

ｔａｇ以及相关微博的情况下，通过抽取一系列特征来判断哪些　

Ｈａｓｈｔａｇ描述同一个话题。很多描述同一话题的Ｈａｓｈｔａｇ会　

有一定的词汇重叠，或者在微博内容上有一定的相似度，但并　

不总是如此。如“＃ＯＺ２１４航班事故＃”和“＃波音７７７坠机　

＃”都是描述２０１３年６月７日凌晨一架波音７７７型客机在旧　

＃［－ａ－ｚＡ－Ｚ０—９］＋”进行表示的字符串。在中文微博（新浪微　

博等）中，Ｈａｓｈｔａｇ则是以”＃话题词＃”的形式来表示。作为　

微博最具特色的属性之一，Ｈａｓｈｔａｇ可以帮助微博话题的聚　

合展示，以利于用户及研究者快速发掘热点话题。例如，用户　

通过点击带有超链接的Ｈａｓｈｔａｇ——“＃甘肃定西地震＃”，　

就可以得到一系列与２０１３年７月２２日甘肃省定西市发生的　

６．６级地震相关的微博。　金山国际机场着陆时的坠机事件。所以，本文不仅分析了较　

Ｈａｓｈｔａｇ可以很好地指示微博的话题ｌ】］，但不同的　

Ｈａｓｈｔａｇ可能也会指向相同的话题。Ｊａｇａｎ等Ｉ２］在对Ｔｗｉｔｔｅｒ　

上的博文作在线聚类时，发现如果简单地把包含同一Ｈａｓｈ—　

为直观的词汇特征及内容特征，还从Ｈａｓｈｔａｇ共现频率、生命　

周期等角度挖掘了一些统计特征以解决上述问题。实验结果　

显示，我们所提出的特征能较好地指示Ｈａｓｈｔａｇ的相关性。　

本文第２节介绍了相关工作；第３节对研究的问题以及　

ｔａｇ的博文归为一类别，会导致话题的碎片化和类别的冗余。　

本文受国家自然科学基金项目（６１２０２３３７，６１１７０１５６）资助。　

胡长龙（１９８８一），男，硕士生，主要研究方向为自然语言处理；唐晋韬（１９８１一），男，博士，讲师，主要研究方向为社会网络分析和自然语言处理；　

王挺（１９７Ｏ一），男，博士，教授，博士生导师，主要研究方向为自然语言处理。　

・

２３５・　

研究思路进行了阐述；第４节给出了相关特征及计算方法的　因此，我们从Ｈａｓｈｔａｇ本身、相关微博挖掘一组特征来进行相　

关性研究，这些特征包括：Ｈａｓｈｔａｇ文本特征、相关的微博内　

容、Ｈａｓｈｔａｇ出现次数一时间分布、Ｈａｓｈｔａｇ的共现。通过分析　

这些特征的作用，学习它们的组合方式，最终判断Ｈａｓｈｔａｇ间　

的相关性。我们将对这些特征的效果进行评价，分析不同特　

具体介绍；第５节描述了实验数据以及实验结果，并对实验结　

果进行了分析；最后总结了全文，并阐述了下一步工作。　

２相关工作　

与本文任务非常相似的研究是新闻文本中的话题关联识　

别技术。话题关联识别技术来源于ＴＤＴ（Ｔｏｐｉｃ　Ｄｅｔｅｃｔｉｏｎ　

征对相关性分析的影响。　

本文采用基于随机森林的方法，这种模型对不平衡的数　

据而言，可以平衡误差＿９］，适合于本文在学习特征组合时，训　

练数据中正反样本比例不平衡的情况。本文也对ＳＶＭ的方　

法进行了研究，但效果并不如随机森林，主要原因是反例样本　

数目远远多于正例数目，导致对正例样本识别率降低。　

ａｎｄ　Ｔｒａｃｋｉｎｇ，话题检测与跟踪）任务，主要被用来判断每个报　

道对是否描述了同一个话题。通过建立报道和话题的表示模　

型、确定模型间的话题关联计算方法（即表示模型间的相似度　

计算）、对相似度进行整合并与决策阈值比较［３］几个步骤计算　

报道对的话题关联。但由于新闻文本和微博文本在长度、语　

言特征、传播特征上的巨大差异，使得话题关联识别技术在微　

４特征设计　

博上所取得的效果不如在新闻文本上。如果直接将包含　

Ｈａｓｈｔａｇ的博文当成报道，并使用该技术来判断Ｈａｓｈｔａｇ之　

间的相关性，有可能将一些微博内容相近似但话题不相关的　

Ｈａｓｈｔａｇ判断为相关。因此需要引入微博的一些属性信息来　

作为相关性分析的重要特征。　

另一方面，已有研究者开展了Ｈａｓｈｔａｇ的聚类工作。　

Ｐｏｓｃｈｋｏ［４￣认为如果两个Ｈａｓｈｔａｇ在一条博文上共现，那么它　

们可能描述了同一个话题。Ｄｏｌａｎ　ＡｎｔｅｎｕｃｃｉＣ　］在此基础上，　

提出了Ｈａｓｈｔａｇ共现概率的计算方法，并且设定阈值过滤部　

分噪音数据。Ｈａｓｈｔａｇ之间有共现则表明两个Ｈａｓｈｔａｇ之间　

有一定程度的相关，但是没有共现并不意味着不相关。因此，　

我们在新浪平台数据上对该特征的有效性进行了检验，并扩　

展了一些其他特征来计算Ｈａｓｈｔａｇ之间的相关性。　

另外，由于微博信息实时性强，在对微博进行聚类研究　

时，微博的发表时间常常作为一个重要因素被引人ｌ２　］，即　

考虑话题的爆发及消失这一过程对聚类的影响。Ｈａｓｈｔａｇ相　

关性分析也是为了对其代表的微博文本基于话题进行聚类，　

其同样具有话题生命周期等时间特征，基于这个思路，我们也　

分析了Ｈａｓｈｔａｇ的出现及消失这一生命周期［　］对Ｈａｓｈｔａｇ之　

间话题相关性识别的影响。　

３　问题定义和研究思路　

３．１　问题定义　

本文主要研究Ｈａｓｈｔａｇ之间的相关性判别问题。我们用　

Ｓｔａｔｕｓ（Ｔｉｍｅ，Ｉｄ，Ｔｅｘｔ，Ｕｓｅｒ，Ｏｔｈｅｒｓ）表示一条微博，其中　

Ｔｉｍｅ表示微博的发表时间，Ｉｄ是微博的ｉｄ标识符，Ｔｅｘｔ是微　

博的文本内容，Ｕｓｅｒ表示微博发表者的用户信息，Ｏｔｈｅｒｓ表　

示其他属性，如微博的转发数目、评论数目等。而本文的目标　

是，在给定两个ＨａｓｈｔａｇＡ和Ｂ以及包含该Ｈａｓｈｔａｇ的微博　

集合｛ＳｔａｔｕｓＡ１，Ｓｔａｔｕｓａ２，…，ｓ　￡　｝和｛Ｓｔａｔｕｓｓ１，ＳｔａｔｕｓＢ２，　

…

，

Ｓｔａｔｕｓ　）的条件下，从中挖掘一组特征，学习得到它们的　

组合方式用以帮助判断Ｈａｓｈｔａｇ　Ａ和Ｈａｓｈｔａｇ　Ｂ之间是否话　

题相关。　

３．２研究思路　

Ｈａｓｈｔａｇ之间的相关性分析实为一个二值分类问题。对　

于两个Ｈａｓｈｔａｇ而言，根据它们涉及的话题，可以分为相关、　

不相关。如果Ｈａｓｈｔａｇ之间是相关的，那么它们之间的话题　

内容会比较相似，相关微博发布时间的分布上也较为近似。　

・

２３６・　

我们发掘了一些从微博内容及属性上计算得到的Ｈａｓｈ—　

ｔａｇ话题相关性特征。这些特征以及其计算方法描述如下。　

４．１　Ｈａｓｈｔａｇ文本特征（ＪａｃｃａｒｄＯｆＨａｓｈｔａｇ）　

在很多情况下，描述相同话题的不同Ｈａｓｈｔａｇ之间会有　

一

定的词汇重叠如：＃波音坠毁＃和＃波音７７７坠机＃两个　

Ｈａｓｈｔａｇ均描述波音７７７型客机坠毁事件。因此，我们首先　

对Ｈａｓｈｔａｇ进行了分词，然后使用Ｊａｃｃａｒｄ系数［１ｏ＿来度量　

Ｈａｓｈｔａｇ之间的字符重合度，其公式如下：　

，　

式中，ＳＡ、５日分别表示Ｈａｓｈｔａｇ　Ａ和Ｈａｓｈｔａｇ　Ｂ分词之后得　

到的词集合。ｌ　ＳＡｎ　Ｓ月Ｉ表示Ｈａｓｈｔａｇ　Ａ和Ｈａｓｈｔａｇ　Ｂ采用　

的相同词语的个数，ｌ　ＳＡ　Ｕ　ＳＢ　Ｉ则表示构成Ｈａｓｈｔａｇ　Ａ和　

Ｈａｓｈｔａｇ　Ｂ所采用词语的总个数。通过计算Ｊａｃｃａｒｄ系数，可　

以得到两个Ｈａｓｈｔａｇ在词上面的重合度。　

４．２包含Ｈａｓｈｔａｇ的微博内容（ＷｅｉｂｏＴｅｘｔ）　

微博的文本内容是对Ｈａｓｈｔａｇ进行的进一步描述。不同　

的发布者很可能采用不同的词作为话题的Ｈａｓｈｔａｇ，使得描　

述相同话题的Ｈａｓｈｔａｇ不一定有字符上的重叠，而某些构成　

Ｈａｓｈｔａｇ的词在其它微博上并未用＃标记［１１，１２］，如下面这条　

微博：　

“ｘｘ）Ⅸ：＃ＯＺ２１４航班事故＃【７月８日记者招待会内容　

问答内容】二．问：在旧金山机场着陆时，操作该飞机的机长　

仅有４３小时驾驶波音７７７的经验。而外界认为，这是造成此　

次事故的间接原因。对上述内容您有什么看法？（回应“实习　

生”，“副机长”等的质疑）。”　

这条微博使用的Ｈａｓｈｔａｇ是＃ＯＺ２１４航班事故＃，与＃　

波音７７７坠机＃并没有词汇重叠，但其博文中却包含了“波音　

７７７”这样的其他Ｈａｓｈｔａｇ中的词汇。因此分析微博的文本内　

容可以帮助我们更好地识别Ｈａｓｈｔａｇ之间的话题相关性。　

我们将包含相同Ｈａｓｈｔａｇ的微博作为一篇文档组织在一　

起，然后可以计算不同Ｈａｓｈｔａｇ对应的文档之间的文本相似　

度。本文采用ＶＳＭ（Ｖｅｃｔｏｒ　Ｓｐａｃｅ　Ｍｏｄｅｌ，向量空间模型）来　

表示文本，特征值采用ＴＦ－ＩＤＦ计算得到，利用余弦相似度来　

计算文档之间的相似度。微博内容中包含了一些影响文本相　

似度计算的特殊格式，例如用“＠某人”的格式来表示“提到”　

某个用户，而这些并没有帮助文本相似度计算。所以在分词　

预处理阶段，除了过滤掉停用词，我们也将这些特殊格式的符　

号去掉，包括表情符号、“＠某人”以及ＵＲＬ短链接。　

４．３　Ｈａｓｈｔａｇ的出现次数一时间分布（Ｔｉｍｅ）　

关，当微博数目少时，式（１）和式（２）的计算很容易受这类噪音　

数据［５，１３，１４　影响，因此这里引入式（３），实验过程中通过分类　

器来选择最佳的Ｈａｓｈｔａｇ相关性判别函数。　

Ｓｃ３（Ａ，Ｂ）＝ｍｉｎ（∑ＨＡ　，∑　Ｂ　）　（３）　

时间作为微博的一个重要属性，表明了用户在哪天参与　

了某话题讨论，同时也侧面反映了Ｈａｓｈｔａｇ对涉及的话题的　

发生发展时间。如图１所示，我们列举了２０１３年７月６日至　

７月２６日＃韩亚航空波音７７７坠机＃、＃波音７７７坠机＃、＃　

甘肃定西地震＃３个Ｈａｓｈｔａｇ的出现次数，其中＃韩亚航空　

波音７７７坠机＃和＃波音７７７坠机＃描述２０１３年７月７日　

５实验　

５．１实验数据及设置　

由于对中文Ｈａｓｈｔａｇ的话题相关性研究尚无公认的语料　

集和标注结果，本文使用新浪提供的ＡＰＩ抓取收集了从２０１３　

年３月到４月共两个月时间的微博数据。考虑到热门话题相　

关的Ｈａｓｈｔａｇ会比较多，为了增加正例的数量，我们从中选取　

了１３０个与热门话题相关的Ｈａｓｈｔａｇ，相关涉及的微博数目　

共５５５３３条（含同一个Ｈａｓｈｔａｇ的微博数目最少为３Ｏ条），生　

凌晨～架波音７７７型客机坠机事件，＃甘肃定西地震＃则描　

述２０１３年７月２２日在甘肃省定西市发生的地震。可以看出　

相同话题的Ｈａｓｈｔａｇ在同一个时间段内，其出现次数的分布　

比较一致，而不同话题的Ｈａｓｈｔａｇ之间，出现次数的差异也比　

较明显。　

图１　通过新浪微博搜索页面搜索得到的，２０１３年７月６日至７月　

２６日分别包含＃甘肃定西地震＃、＃韩亚航空波音７７７坠机　

＃、＃波音７７７坠机＃３个Ｈａｓｈｔａｇ的微博数目　

因此，我们以（ｎＡ１，ＹｔＡ２，…，ｔ／Ａ／，…，　）表示在ｍ天内，　

Ｈａｓｈｔａｇ　Ａ每天出现的数目。不同Ｈａｓｈｔａｇ之间时间上的相　

似度计算则采用余弦公式求得，表示如下：　

（　＊ｒｉＢ／）　

ＳＴ（Ａ，Ｂ）一　＝＝＿—　

√蚤　√圣墙　

４．４　Ｈａｓｈｔａｇ的共现（Ｃｏ－Ｏｃｃｕｒｒｅｎｃｅ）　

当不同的Ｈａｓｈｔａｇ同时出现在一条微博中时，这种情况　

称为Ｈａｓｈｔａｇ之间的共现。越是经常发生共现的Ｈａｓｈｔａｇ，　

它们所代表的话题应该越相似。我们认为：　

１）共现概率越高的Ｈａｓｈｔａｇ，话题越有可能是相关的。　

２）如果Ｈａｓｈｔａｇ　Ａ和Ｈａｓｈｔａｇ　Ｂ相关联，那么与Ｈａｓｈ—　

ｔａｇ　Ａ共现的Ｈａｓｈｔａｇ越有可能与Ｈａｓｈｔａｇ　Ｂ共现。　

因此，我们使用以下公式来计算Ｈａｓｈｔａｇ之间的共现概　

率。　

Ｓｃ１（Ａ，Ｂ）　

！至ｎＡ五Ｂ二　ｎＢ五Ａ　

２　

（１）　

Ｓ晓（Ａ，Ｂ）　

盘±盘　

２　

（２）　

式中，　表示Ｈａｓｈｔａｇ　Ａ和Ｈａｓｈｔａｇ　Ｂ共现的次数，∑ｎＡ　表　

示的是和ＨａｓｈｔａｇＡ有共现关系的所有Ｈａｓｈｔａｇ的数目。另　

外，对于与Ｈａｓｈｔａｇ　Ａ和Ｈａｓｈｔａｇ　Ｂ两者都有共现关系的一　

类Ｈａｓｈｔａｇ，其与Ｈａｓｈｔａｇ　Ａ共现的总次数则表示为ｍＡ，与　

Ｈａｓｈｔａｇ　Ｂ共现的总次数则表示为ｍＢ。　

我们发现有一些不相关联的Ｈａｓｈｔａｇ也可能出现在同一　

条微博中。由于∑ＦＩＡ　和∑　的大小跟微博的数目直接相　

成Ｃ｝３ｏ一８３８５个Ｈａｓｈｔａｇ对。由于Ｈａｓｈｔａｇ之间的相关性判　

断类似于ＴＤＴ任务中的话题关联识别，因此我们参照ＴＤＴ４　

标注大纲对数据进行标注。如果两个Ｈａｓｈｔａｇ讨论相同话　

题，则认为相关，如果两个Ｈａｓｈｔａｇ讨论完全不同的话题，则　

认为无关，如果存在疑虑，则往往认为相关。我们借助３位志　

愿者对这些Ｈａｓｈｔａｇ对进行人工标注。首先由两位志愿者进　

行独立标注，当标注的结果存在差异时，则以第三位志愿者的　

判断作为标注结果。最终，我们得到正例５４７对，反例７８３８　

对。考虑到正反例样本不平衡的问题，我们利用随机森林训　

练相关性识别函数，以平衡误差。为了避免过度拟合，我们对　

数据集的实验采取了５折交叉验证。实验结果采用准确率、　

召回率、Ｆ＿值来度量。　

为了考察各个特征的作用，我们逐步将特征累加，形成了　

如下几个测试方法：　

方法１（ｂａｓｅｌｉｎｅ）　仅使用Ｈａｓｈｔａｇ本身的字符重合度　

（ＪａｃｅａｒｄＯｆＨａｓｈｔａｇ）这一特征。　

方法２在方法１基础上添加包含Ｈａｓｈｔａｇ的微博内容　

（ＷｅｉｂｏＴｅｘｔ）这一特征。　

方法３在方法２基础上添加Ｈａｓｈｔａｇ的出现次数一时间　

分布（Ｔｉｍｅ）这一特征。　

方法４　在方法３基础上添加Ｈａｓｈｔａｇ的共现（Ｃｏ－Ｏｃ—　

ｅｕｒｒｅｎｃｅ）特征，即包含了上面列举的所有特征。　

５．２实验结果　

表１显示了上述测试方法的实验结果。实验结果显示，　

ｂａｓｅｌｉｎｅ方法有较高的准确率，但是召回率较低。这是因为该　

方法不能发现在词汇上没有重叠的Ｈａｓｈｔａｇ之间的话题相关　

性。方法２由于引入了微博内容特征，借助微博内容的相似　

性判断不同Ｈａｓｈｔａｇ的话题相关性，提高了召回率。但有些　

相似话题的微博内容近似，如“＃台湾地震＃”和“＃雅安平安　

＃”，这会导致不相关联的Ｈａｓｈｔａｇ被判断为相关，从而降低　

了准确率。方法３中引人了时间特征，可以区别不同时间段　

的不同话题，并可以提高同一时间段发生的话题的关联度，从　

而在准确率和召回率上均有提高，如该特征能很好地区分发　

生在２０１３年３月份的“＃台湾地震＃”和发生在２０１３年４月　

底的“＃雅安平安＃”话题。方法４在方法３基础上，加入了　

Ｈａｓｈｔａｇ的共现特征。实验结果表明，在中文数据上，Ｈａｓｈ—　

ｔａｇ的共现和英文数据一样是判断Ｈａｓｈｔａｇ话题相关性的一　

（下转第２４５页）　

・

２３７・　

源的格式，如ＰＤＦ等，实现内容的有效传递和知识共享。在　

ＩＲ设计中尽量采用列表框选择数据的方法，如语言、学科、主　

ｐｉｅ．ｃｏｍ．ｏｎ／ＧＢ／Ｐａｐｅｒ４６４／１５１６Ｏ／１３４４５８３．ｈｔｍｌ，２０１３－０８—０８　

［２］Ｂｕｄａｐｅｓｔ　Ｏｐｅｎ　Ａｃｃｅｓｓ　Ｉｎｉｔｉａｔｉｖｅ［ＥＢ／ＯＬ］．ｈｔｔｐ：／／　

ｏｒｇ／ｏｐｅｎａｅｃｅｓｓ／ｒｅａｄ．ｓｈｔｍｌ，２０１３—０８一ｌ１　

ｓｏｒｏｓ．　

题词、资源类型等规范化项Ｅｌ供资源提供者选择，尽量减少需　

要其录入的条目［ＨＩ，还可安排专人协助提交存储，辅助转换　

格式、纠正拼写错误、完成提交程序等。　

此外，应重视　服务功能的扩展，开发基于浏览、标记、　

５３］孙振良．高校机构知识库建设现状及策略研究［Ｊ］．情报科学，　

２０１０（０３）：３５３　

Ｆ４］Ｃｒｏｗ　Ｒ　Ｔｈｅ　Ｃａｓｅ　ｆｏｒ　Ｉｎｓｔｉｔｕｔｉｏｎａｌ　Ｒｅｐｏｓｉｔｏｒｉｅｓ：Ａ　ＳＰＡＲＣ　Ｐｏ—　

ｓｉｔｉｏｎ　Ｐａｐｅｒ．ＦＥＢ／ＯＩ　ｈｔｔｐｔ｜｛ＷＷＷ．ａｒ１．ｏｒｇ／ｓｐａｒｃ／ＩＲ／ｉｒ．ｈｔ—　

ｍｌ，２０１３—０８—１３　

订阅、检索、评论等满足个性化服务需求的增值功能，包括创　

建个人出版物列表、统计论文点击率和引用率等，如为作者提　

供建立和维护个人出版物目录的服务。还应着重考虑在　

中嵌入ＲＳＳ订阅服务，为特定社区、特定作者及特定主题等　

［５］ＲＯＡＲ：Ｒｅｇｉｓｔｒｙ　ｏｆ　Ｏｐｅｎ　Ａｃｃｅｓｓ　Ｒｅｏｓｐｉｔｏｒｉｅｓ　ＥＥＢ／ＯＩＪ．ｈｔ－　

ｔｐ：／ｒｏａｒ．ｅｐｒｉｎｔｓ．ｏｒｇ／，２０１３—０８—１０　

提供多个站点实时更新的ＲＳＳ源文件，并利用信息追踪技术　

和检索记忆理念，使科研人员输入的检索词为系统所记忆和　

匹配，进而实现相关资源的主动推送。　

［６］ＯｐｅｎＤＯＡＲ：Ｄｉｒｅｃｔｏｒｙ　ｏｆ　Ｏｐｅｎ　Ａｃｃｅｓｓ　Ｒｅｏｓｐｉｔｏｒｉｅｓ［ＥＢ／ＯＬ］．　

ｈｔｔｐ：／／ｗｗｗ．ｏｐｅｎｄｏａｒ．ｏｒｇ／ｃｏｕｎｔｒｙｌｉｓｔ．ｐｈｐ？ｃＣｏｎｔｉｎｅｎｔ—Ａ—　

ｓｉａ＃Ｃｈｉｎａ，２０１３—０８—１４　

［７］厦门大学学术典藏库ＦＥＢ／ＯＬ］．ｈｔｔｐ：／／ｄｓｐａｃｅ．ｘｒｎｕ．ｅｄｕ．ｏｎ／　

ｄｓｐａｃｅ／，２０１３—０８－１６　

结束语　高校应通过多方渠道提高ＩＲ的知名度和认同　

感，使实施对象突破图书情报领域的实践者。积极借鉴国外　

ＩＲ建设经验，充分发挥图书馆辅助协调管理的主体角色，更　

加注重版权许可、质量控制、个性化增值服务及标准化建设等　

［８］Ｃｙｂｅｒｍｅｔｒｉｃｓ　Ｌａｂ．Ｒａｎｋｉｎｇ　Ｗｅｂ　Ｗｏｒｌｄ　ＲｅｏｓｐｉｔｏｒｉｅｓＦＥＢ／ＯＬ］．　

ｈｔｔｐ：／／ｒｅｐｏｓｉｔｏｒｉｅｓ．ｗｅｂｏｍｅｔｒｉｅｓ．ｉｎｆｏ／ｅｎ／Ａｓｉａ，２０１３—０８—１５　

［９］台湾大学机构典藏［－ＥＢ／ＯＬ］．Ｅ２０１３—０８—１３］．ｈｔｔｐ：／／ｎｔｕｒ．１ｉｂ．　

ｎｔｕ．ｅｄｕ．ｔｗ／　

内容，促进学术交流和资源共享，扩大高校争取人才和资金的　

优势，提高核心竞争力。　

［１Ｏ］Ｓｗａｎ　Ａ，Ｂｒｏｗｎ　Ｓ．Ｏｐｅｎ　ａｃｃｅｓｓ　ｓｅｌｆ－ａｒｃｈｉｖｉｇ：ａｎ　ａｕｔｈｏｒ　ｓｔｕｄｙ　ｎ

［ＥＢ／ＯＬ］．ｈｔｔｐ：／／ｃｏｇｐｒｉｎｔｓ．ｏｒｇ／４３８５／，２０１３—０８—１３　

［１１］郎庆华．机构知识库自存储资源的获取策略研究口］．情报杂志，　

２００９（７）：ｌ６９　

参考文献　

［１］“开放获取（０Ａ）”推动信息共享［ＥＢ／ＯＬ］．ｈｔｔｐ：／／Ⅵｗ　ｐｅｏ—　

（上接第２３７页）　［３］　张晓艳．新闻话题表示模型和关联追踪技术研究［Ｄ］．长沙：国　

防科学技术大学，２０１０　

个有效特征，通过加入该特征在准确率和召回率上均有提高。　

表１不同的特征组合对Ｈａｓｈｔａｇ相关性检测的影响，符号ｖ或＊　

［４］ＰＯｓｃｈｋｏ　Ｊ．Ｅｘｐｌｏｒｉｎｇ　Ｔｗｉｔｔｅｒ　Ｈａｓｈｔａｇｓ［Ｚ］．２０１１　

［５］Ａｎｔｅｎｕｃｃｉ　Ｄ，Ｈａｎｄｙ　Ｇ，Ｍｏｄｉ　Ａ，ｅｔ　ａ１．Ｃｌａｓｓｉｆｉｃａｔｉｏｎ　ｏｆ　Ｔｗｅｅｔｓ　

Ｖｉａ　Ｃｌｕｓｔｅｒｉｎｇ　ｏｆ　Ｈａｓｈｔａｇｓ［Ｚ］．２０１　１　

［６］郑斐然，苗夺谦，张志飞．一种中文微博新闻话题检测的方法　

表示实验结果在显著水平０．０５下优于（ｖ）或不如（＊）ｂａｓｅ—　

ｌｉｎｅ方法　

［Ｊ］．计算机科学，２０１２，３９（１）：１３８　

［７］Ｃａｔａｌｄｉ　Ｍ，Ｄｉ　Ｃａｒｏ　Ｌ，Ｓｃｈｉｆａｎｅｌｌａ　Ｃ　Ｅｍｅｒｇｉｎｇ　ｔｏｐｉｃ　ｄｅｔｅｃｔｉｏｎ　ｏｎ　

Ｔｗｉｔｔｅｒ　ｂａｓｅｄ　ｏｎ　ｔｅｍｐｏｒａｌ　ａｎｄ　ｓｏｃｉａｌ　ｔｅｍｓｒ　ｅｖａｌｕａｔｉｏｎ［Ｃ］『ｆ　

Ｐｒｏｃｅｅｄｉｇｓ　ｎｏｆ　ｔｈｅ　Ｔｅｎｔｈ　ＩｎｔｅｒｎａｔｉｏｎａｌⅥｂｒｋｓｈｏｐ　ｏｎ　Ｍｕｌｔｉｍｅｄｉａ　

Ｄａｔａ　Ｍｉｎｉｇ．ＡＣＭ，２０１０：４　ｎ

结束语Ｈａｓｈｔａｇ的话题相关性分析有助于从海量的微　

［８］Ｃｈａｎｇ　Ｈ　Ｃ．Ａ　ｎｅｗ　ｐｅｒｓｐｅｃｔｉｖｅ　ｏｎ　ｔｗｉｔｔｅｒ　Ｈａｓｈｔａｇ　ｕｓｅ：ｄｉｆｆｕｓｉｏｎ　

ｏｆ　ｉｎｎｏｖａｔｉｏｎ　ｔｈｅｏｒｙ［Ｊ］．Ｐｒｏｃｅｅｄｉｇｓｎ　ｏｆ　ｔｈｅ　Ａｍｅｒｉｃａｎ　Ｓｏｃｉｅｔｙ　

ｆｏｒ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｓｃｉｅｎｃｅ　ａｎｄ　Ｔｅｃｈｎｏｌｏｇｙ，２０１０，４７（１）：１－４　

博信息中有效地挑选用户可能感兴趣的微博、帮助热点话题　

发现和聚合展示、方便用户沟通交流。本文根据微博文本的　

特点，不仅考虑了构成Ｈａｓｈｔａｇ的词汇重合度，还考虑了相关　

［９］随机森林＿维基百科，自由的百科全书［ＤＢ／ＯＬ］．ｈｔｔｐ：／／ｚＫ　

ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／随机森林，２０１３　

ｒ１Ｏ］Ｌｅｙｄｅｓｄｏｒｆｆ　Ｉ　．Ｏｎ　ｔｈｅ　ｎｏｒｍａｌｉｚａｔｉｏｎ　ａｎｄ　ｖｉｓｕａｌｉｚａｔｉｏｎ　ｏｆ　ａｕｔｈｏｒ　

微博内容、Ｈａｓｈｔａｇ的出现次数一时间分布、Ｈａｓｈｔａｇ共现等特　

征来帮助Ｈａｓｈｔａｇ相关性分析。实验结果表明本文抽取的一　

系列特征都有助于Ｈａｓｈｔａｇ相关性判断。　

由于存在着一些不相关的Ｈａｓｈｔａｇ共现的情况，在未来　

工作中，我们将考虑如何过滤这类噪音数据。另外，我们将挖　

掘其他特征来帮助判别Ｈａｓｈｔａｇ之间的相关性，如度量　

Ｈａｓｈｔａｇ之间的ｇｏｏｇｌｅ距离Ｉ一　］等。将Ｈａｓｈｔａｇ相关性判别　

技术用于微博聚类、Ｈａｓｈｔａｇ推荐等也是未来工作之一。　

ｃｏｃｉｔａｔｉｏｎ　ｄａｔａ：Ｓａｌｔｏｎ’ｓ　Ｃｏｓｉｎｅ　ｖｅｒｓｕｓ　ｔｈｅ　Ｊａｃｃａｒｄ　ｉｎｄｅｘ［Ｊ］．　

Ｊｏｕｒｎａｌ　ｏｆ　ｔｈｅ　Ａｍｅｒｉｃａｎ　Ｓｏｃｉｅｔｙ　ｆｏｒ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｓｃｉｅｎｃｅ　ａｎｄ　

Ｔｅｃｈｎｏｌｏｇｙ，２００８，５９（１）：７７—８５　

Ｅｌ　ｉ］Ｉ．ａｎｉａｄｏ　Ｄ，Ｍｉｋａ　Ｐ．Ｍａｋｉｎｇ　ｓｅｎｓｅ　ｏｆ　ｔｗｉｔｔｅｒ［Ｍ］．Ｔｈｅ　Ｓｅｍａｎｔｉｃ　

Ｗｅｂ－ＩＳＷＣ　２０１０．Ｓｐｒｉｎｇｅｒ　Ｂｅｒｌｉｎ　Ｈｅｉｄｅｌｂｅｒｇ，２０１０：４７０—４８５　

［１２］Ｇｕｏ　Ｗ，Ｌｉ　Ｈ，Ｊｉ　Ｈ，ｅｔ　ａ１．Ｌｉｎｋｉｎｇ　Ｔｗｅｅｔｓ　ｔｏ　Ｎｅｗｓ：Ａ　Ｆｒａｍｅ—　

ｗｏｒｋ　ｔｏ　Ｅｎｒｉｃｈ　Ｓｈｏｒｔ　Ｔｅｘｔ　Ｄａｔａ　ｉｎ　Ｓｏｃｉａｌ　Ｍｅｄｉａ　

［１３］Ｗａｎｇ　Ａ　Ｈ．Ｄｏｎ’ｔ　ｆｏｌｌｏｗ　ｍｅ；Ｓｐａｍ　ｄｅｔｅｃｔｉｏｎ　ｉｎ　ｔｗｉｔｔｅｒ［－ｃ］∥Ｓｅ—　

ｃｕｒｉｔｙ　ａｎｄ　Ｃｒｙｐｔｏｇｒａｐｈｙ（ＳＥＣＲＹＰＴ），Ｐｒｏｃｅｅｄｉｇｓ　ｏｆｎ　ｔｈｅ　２０１０　

Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ．ＩＥＥＥ，２０１０：ｉ－１０　

参考文献　

［１］ＲｏｓａＫＤ，ＳｈａｈＲ，ＩＡｎＢ，ｅｔａ１．Ｔｏｐｉｃａｌｃｌｕｓｔｅｒｉｎｇｏｆｔｗｅｅｔｓ［ｃ］∥　

Ｐｒｏｃｅｅｄｉｇｓ　ｏｆ　ｔｈｅ　ＡＣＭ　ＳＩＧＩｎＲ：ＳＷＳＭ．２０１１　

［１４］Ｂｅｎｅｖｅｎｕｔｏ　Ｆ，Ｍａｇｎｏ　Ｇ，Ｒｏｄｒｉｇｕｅｓ　Ｔ，ｅｔ　ａ１．Ｄｅｔｅｃｔｉｎｇ　ｓｐａｍｍｅｒｓ　

ｏｎ　ｔｗｉｔｔｅｒ［Ｃ］ｆｆ　ｏｌＣｌａｂｏｒａｔｉｏｎ，ｅｌｅｃｔｒｏｎｉｃ　ｍｅｓｓａｇｉｇ，ｎａｎｔｉ—ａｂｕｓｅ　

ａｎｄ　ｓｐａｍ　ｃｏｎｆｅｒｅｎｃｅ（ＣＥＡＳ）．２０１０　

［２］Ｓａｎｋａｒａｎａｒａｙａｎａｎ　Ｊ，Ｓａｍｅｔ　Ｈ，Ｔｅｉｔｌｅｒ　Ｂ　Ｅ，ｅｔ　ａ１．Ｔｗｉｔｔｅｒｓｔａｎｄ：　

ｎｅｗｓ　ｉｎ　ｔｗｅｅｔｓ［ｃ］∥Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　１７ｔｈ　ＡＣＭ　ＳＩＧＳＰＡ－　

ＴＩＭ　Ｉｎｔｅｍａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ａｄｖａｎｃｅｓ　ｉｎ　Ｇｅｏｇｒａｐｈｉｃ　Ｉｎ—　

ｆｏｒｍａｔｉｏｎ　Ｓｙｓｔｅｍｓ．ＡＣＭ，２００９：４２—５１　

－［１５１　Ｃｉｌｉｂｒａｓｉ　Ｒ　Ｌ，Ｖｉｔａｎｙｉ　Ｐ　Ｍ　Ｒ　Ｔｈｅ　ｇｏｏｇｌｅ　ｓｉｍｉｌａｒｉｔｙ　ｄｉｓｔａｎｃｅ￣Ｊ］．　

ＩＥＥＥ　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ　Ｋｎｏｗｌｅｄｇｅ　ａｎｄ　Ｄａｔａ　Ｅｎｇｉｎｅｅｒｉｎｇ，２００７，　

１９（３）：３７０—３８３　

・

２４５・