python0406 基于社交网络大数据的身份刻画技术研究

项目介绍

基于社交网络数据且通过大数据技术，对用户身份进行刻画分析。用户在社交网络上活动时，会通过文本信息、转发信息、评论等产生大量数据信息，分析挖掘这些数据，并基于已有数据对用户身份进行刻画，主要工作包括：调研用户的基本信息;研究当前的大数据技术如何有效地应用并支持用户身份系统的构建。构建用户身份系统的过程为:明确所需要的关于用户身份的属性,构建多维度的用户身份属性体系,为用户身份相似的用户建立相似度匹配,建立有效的属性更新机制。简单的讲:利用大数据技术对原始数据进行收集与储存,为系统提供性能上的支持;介绍了用户身份与多种属性体系的数据结构与储存方式;从数据角度分析用户身份在各逻辑层次间的转换关系与形成过程。最后通过实验验证用户身份的相似度。 具体包括以下功能： 1）数据采集模块：网络爬虫根据特定规则可以实现对数据或脚本的采集工作。 2) 数据预处理与融合模块：第一步，采用Javatimer定时器对数据进行定时扫描；第二步，对重复、空值或无价值的数据进行预处理；第三步，针对多源异构数据进行融合，对其进行匹配、整合；第四步，将预处理好的数据存储于数据库中，并通过深度学习及卷积神经网络对用户身份进行相似度计算。 3）数据可视化模块：将数据分析结果通过直观明了的可视化图形展示出来。