GeneralNewsExtractor(新闻网页正文通用抽取器)是一个基于《基于文本及符号密度的网页正文提取方法》论文用Python实现的正文抽取器,可以用来提取 HTML 中正文的内容、作者、标题。
开发介绍
项目起源
开发这个项目,源自于我在知网发现了一篇关于自动化抽取新闻类网站正文的算法论文――《基于文本及符号密度的网页正文提取方法》)
这篇论文中描述的算法看起来简洁清晰,并且符合逻辑。但由于论文中只讲了算法原理,并没有具体的语言实现,所以我使用 Python 根据论文实现了这个抽取器。并分别使用今日头条、网易新闻、游民星空、观察者网、凤凰网、腾讯新闻、ReadHub、新浪新闻做了测试,发现提取效果非常出色,几乎能够达到100%的准确率。
项目现状
在论文中描述的正文提取基础上,我增加了标题、发布时间和文章作者的自动化探测与提取功能。
目前这个项目是一个非常非常早期的 Demo,发布出来是希望能够尽快得到大家的使用反馈,从而能够更好地有针对性地进行开发。
本项目取名为抽取器,而不是爬虫,是为了规避不必要的风险,因此,本项目的输入是 HTML,输出是一个字典。请自行使用恰当的方法获取目标网站的 HTML。
本项目现在不会,将来也不会提供主动请求网站 HTML 的功能。
Tenorshare iCareFone(PC苹果手机助手)是一个基于pc的工具,是一款非常好用的PC端苹果手机助手,该软件功能强大且简单实用,用户可以轻松地将文件从你的iPhone,ipad和iPod快速的传输到PC端。
驾校一点通,驾校一点通是一款专门为学车族量身定做的理论模拟考试软件,软件完全免费,涵盖新题库,题库全真模拟,还拥有错题本,答题技巧等功能,是学车族必不可缺的一款软件,您可以免费下载。
EL-ADMIN后台管理系统,EL-ADMIN后台管理系统是一个基于SpringBoot2.1.0、SpringBootJpa、JWT、SpringSecurity、Redis、Vue的前后端分离的后台管理系统,项目采用分模块开发方式,权限控制采用RBAC,支持数据字典与数据权限管理,支持一键生成前后端代码,支持动态路由,
Macro交流神器,Macro交流神器是一款翻译工具,帮助大家在玩游戏的时候可以和外国人进行顺畅的交流,帮助翻译文字,还能进行语音交流,非常方便,您可以免费下载。
Okdo Pdf to Jpeg Converter(PDF文件格式转换工具),OkdoPdftoJpegConverterPDF文件格式转换工具是一款非常不错的PDF文件格式转换工具,用户能够使用这款软件方便快捷的将PDF文件转换为JPEG图片格式,在软件中支持用户对图片的输出参数进行设置,您可以免费下载。
蒲公英音频格式转换器,蒲公英音频格式转换器是一款简单实用的音频格式转换工具软件,支持多种流行音频格式,比如MP3WMAOGGWAVAAC等,用户可以通过蒲公英音频格式转换器轻松转换音频格式,您可以免费下载。