绑定机构
扫描成功 请在APP上操作
打开万方数据APP,点击右上角"扫一扫",扫描二维码即可将您登录的个人账号与机构账号绑定,绑定后您可在APP上享有机构权限,如需更换机构账号,可到个人中心解绑。
欢迎的朋友
万方知识发现服务平台
获取范围
  • 1 / 1
  (已选择0条) 清除 结果分析
找到 4 条结果
摘要:针对传统Single-Pass聚类算法存在的缺陷,提出了一种基于自编码神经网络的Single-Pass聚类算法.通过多个深层的隐藏层对原始数据进行降维,以更好地提取出原始数据的特征信息;并通过对边缘文本重计算来降低误检率,提高聚类精度.实验结果表明,该算法相比传统Single-Pass算法具有更高的聚类准确度,解决了聚类结果受数据顺序影响的问题.
摘要:针对基于语料库统计的词语相似度计算方法存在的一些缺陷,如:计算量大、向量的特征维度高、特征稀疏、忽略了词语的语义信息等,提出了一种基于latent Dirichlet allocation(LDA)的词语相似度计算方法,通过将词语的特征向量映射为词语的主题分布来计算词语间的相似度;通过与基于《知网》的词语相似度计算方法的对比,证明了该方法能有效降低特征维度,并具有较好的词语相似度计算效果.
[硕士论文] 戴龙龙
软件工程 北京化工大学 2017(学位年度)
摘要:近十年,食品安全问题俨然成为了社会关注的热门话题,频繁发生的食品安全话题具有传播速度快、影响极其深远的特点。因此,话题检测的时效性要求变高,但是当前世界已经进入大数据的时代,数据量呈指数增长,数据量的爆炸导致传统的框架已经无法做到实时处理,食品安全网络舆情监测研究迫在眉睫。本文的主要研究内容包括基于Storm分布式框架的话题提取、基于自编码神经网络的文本数据特征提取和分布式食品安全网络舆情检测系统的改进。主要工作如下:
  1、当前话题检测的时效性要求高,因此,本文将Single-Pass话题检测算法在Storm分布式框架上进行了改进,有效地提高了话题的检测速度,且随着集群中机器节点数量的增加,在保证聚类精度的同时,算法运算速度相应增加,从而有效提高了话题检测的时效性。
  2、因为传统的Single-Pass算法的聚类精度不高,所以本课题基于自编码神经网络对Single-Pass进行改进。该算法在特征提取时拥有多个隐藏层,可以对原始数据实现重构,因而可以更好提取特征,从而降低误检率,使得聚类精度得到提高;并通过边缘文本再处理来解决传统算法聚类结果受数据顺序影响的问题,聚类精度进一步提高。
  3、针对食品安全领域文本数据的特点,对Storm分布式话题检测算法进行改进,通过建立食品类别决策树,对文本数据进行分类后再聚类,进一步提高了话题检测的时效性,有效提高了系统的时效性。
[专利] 发明专利 CN201611030936.4
北京化工大学 贵州省食品安全检测应用工程技术研究中心有限公司 2017-04-26
摘要:本发明公开了属于大数据处理技术领域中的一种基于storm分布式框架的食品安全网络舆情预警系统,通过爬取网络媒体的新闻网页,然后从网页文件中提取食品相关舆情信息并将其进行分布式聚类;对每个聚类结果中的舆情信息进行进一步分析以得到每个事件,并获取事件的起源、发展、高潮、结束阶段的相关信息,以达到网络监控的目的。本系统通过storm分布式框架提高了舆情数据处理的效率,解决了以往时效性较差的缺点。
  (已选择0条) 清除
公   告

北京万方数据股份有限公司在天猫、京东开具唯一官方授权的直营店铺:

1、天猫--万方数据教育专营店

2、京东--万方数据官方旗舰店

敬请广大用户关注、支持!查看详情

手机版

万方数据知识服务平台 扫码关注微信公众号

学术圈
实名学术社交
订阅
收藏
快速查看收藏过的文献
客服
服务
回到
顶部