博客
关于我
[整理] python统计词频
阅读量:434 次
发布时间:2019-03-06

本文共 1085 字,大约阅读时间需要 3 分钟。

简单的数据词频统计方法

在实际开发中,我们常需要对文本数据进行词频统计,这可以帮助我们快速了解文本中各个关键词的出现频率。本文将介绍两种常见的词频统计方法:一种适用于中文文本,另一种适用于英文文本。

中文词频统计

以下是实现中文词频统计的完整代码示例:

import stringtext = "http request highclient springboot request"data = text.lower().split()words = {}for word in data:    if word not in words:        words[word] = 1    else:        words[word] += 1result = sorted(words.items(), key=lambda x: x[1], reverse=True)print(result)

运行该代码,可得以下结果:

[('springboot', 1), ('request', 2), ('http', 1), ('highclient', 1)]

英文词频统计

以下是实现英文词频统计的完整代码示例,基于瓦登尔湖这本书籍:

import stringpath = 'D:/python3/Walden.txt'with open(path, 'r', encoding='utf-8') as text:    words = [raw_word.strip(string.punctuation).lower() for raw_word in text.read().split()]counts = {}for word in words:    counts[word] = counts.get(word, 0) + 1sorted_words = sorted(counts.items(), key=lambda x: x[1], reverse=True)for word, count in sorted_words:    print(f"{word} -- {count} times")

运行该代码,可得以下结果:

highclient -- 1 timethe -- 21 timesand -- 16 timesto -- 16 timesis -- 14 times... (以下其他词频统计结果)

以上代码和分析方法可以帮助我们快速统计不同语言文本中的关键词频率。在实际应用中,可以根据需要调整统计方式和排序规则。

转载地址:http://phcuz.baihongyu.com/

你可能感兴趣的文章
Openlayers中使用Overlay实现点击要素弹窗并且弹窗随之移动
查看>>
Vmware系列&虚拟机系列【仅供参考】:使用vCenter Auto Deploy制作ESXI系统封装(适合高版本vSphere)
查看>>
Openlayers中加载GeoJson文件显示地图
查看>>
Openlayers中加载Geoserver切割的EPSG:900913离线瓦片图层组
查看>>
Openlayers中加载Geoserver切割的EPSG:900913离线瓦片地图并显示
查看>>
Openlayers中多图层遮挡时调整图层上下顺序
查看>>
Openlayers中实现地图上打点并显示图标和文字
查看>>
Openlayers中实现地图上添加一条红色直线
查看>>
Openlayers中将某个feature置于最上层
查看>>
Openlayers中点击地图获取坐标并输出
查看>>
Openlayers中设置定时绘制和清理直线图层
查看>>
Openlayers入门教程 --- 万字长篇
查看>>
Openlayers各组件默认的css样式
查看>>
Openlayers图文版实战,vue项目从0到1做基础配置
查看>>
VM16+ubuntu20.04+win10如何固定虚拟机的ip (固定IP)
查看>>
OpenLayers学习三:地图旋转及地图跳转到某一点的方式(以类为接口)
查看>>
OpenLayers学习二:点标记的添加删除和修改(以类为接口)
查看>>
Openlayers实战教程学习大纲及引导
查看>>
Openlayers实战:LayerGroup添加删除显示隐藏
查看>>
Openlayers实战:loadstart和loadend事件
查看>>