承接上一篇文章,在上一篇中主要对群活跃情况,和成员情况进行了分析,这一篇则主要是对聊天记录做一些浅显的文本分析。文本挖掘是一个博大精深的领域,我们通常叫做自然语言处理NLP,它涉及到很多统计学,数学,信息论,语言学的东西,当然也是目前前沿科技之一,这里,仅对文本做一些简单的分析,以期抛砖引玉.虽然如此,但是,其分析的结果仍然能给我们提供许多有用的信息。这里便做一些展示： 数据来源：PPV课QQ群，PPV课是国内最活跃的几个大数据社区之一。 样本数 : 聊天记录文件不大,但是数据却非常多,因为是全文本数据,R处理起来很慢,所以这里分每个群进行,大约5万字符。 由于中文语言的特点,我们在做文本挖掘时,首先做的第一个事情就是–分词.因为中文一句话没有天然间隔,不像英文一个词一个词用空格隔开,我们在理解中文一句话时,非常简单,但是机器却很难知道哪几个字能组成词,所以分词虽是第一步,却也相当的难,好在,具体的算法我们不必研究R中已经有很多分词工具.分完词后,比较初步的就是进行词频统计.词频统计在QQ群讨论的最多的是数据分析的学习.和职业.并且对其认可度高.