jsp3048 基于Spark的直播平台数据分析

项目介绍

直播平台数据分析系统的设计与实现，有管理员、用户两种角色。主要将实现注册登录，用户管理，公告管理，弹幕管理，弹幕统计，个人信息管理。其中，管理员包括登录，用户管理，公告管理，弹幕管理，弹幕统计五大功能；用户包括注册登录，公告浏览，弹幕查询。 接下来将对每个功能需求进行详细面试。 1. 用户注册登录：第一次使用该系统的用户需要先注册账号，注册成功后，才可以登录。管理员和用户通过该入口进行登录，设置登录login页面，输入用户名和密码，点击登录即可，调用后台数据库，会自动进行字符串的匹配，判断输入是否合法合规，判断正确后即用户登录成功。 2. 用户管理：管理员可以对该系统注册的用户账号进行修改和查询操作。 3. 公告管理：用于管理员发布该系统的公告信息，包括公告的标题，内容。用户登录系统后可以查看浏览。 4. 弹幕管理：这是系统最核心的功能，包括弹幕抓取，弹幕保存，弹幕导入，弹幕查询四个子功能。 (1)数据抓取：首先，管理员通过到直播间去抓取弹幕数据，将该直播间的弹幕数据以列表的形式展示，包括弹幕内容，评论用户名称，评论时间，弹幕点赞数。 (2)弹幕保存：其次，将抓取到的弹幕数据保存到本地，生成excel表。 (3)弹幕导入：管理员可以将保存到的弹幕excel表，导入到系统里，从而将弹幕数据上传到该平台，平台利用Spark框架对大数据进行分析。 (4)弹幕查询：管理员和用户可以查看上传并分析后的弹幕数据，管理员可以选择不良评论进行删除，用户可以根据自己的需求进行精准搜索查询。 5. 弹幕统计：当弹幕上传到系统后，该系统可以对数据进行分析统计，计算出被点赞最多的弹幕内容，以及被点赞最多的用户，并且以柱形图的方式展示。 6. 个人信息管理：用户注册账号后，使用注册的用户名和密码进行登录，可以对用户的个人信息进行修改。