互联网舆情系统的架构实践 在线数据处理

引言

互联网舆情系统需要实时处理海量、多源、异构的舆情数据，在线数据处理能力是系统的核心挑战之一。本文结合百分点大数据技术团队的实践经验，探讨互联网舆情系统中在线数据处理的架构设计与关键技术。

在线数据处理的核心需求

舆情系统的在线数据处理通常面临以下需求：

1. 低延迟：热点事件需秒级发现、分钟级预警
2. 高吞吐：日均处理数亿级文章、评论、社交互动数据
3. 灵活性：支持多维度检索、聚合分析与实时看板
4. 容错性：数据不丢不重，系统具备故障恢复能力

传统批处理架构难以满足上述要求，需要构建流式优先、批流协同的数据处理链路。

整体架构设计

百分点舆情系统的在线数据处理架构可分为四层：

1. 数据接入层

通过统一采集网关接入新闻、微博、微信、论坛、短视频等异构信源，采用Flume、Filebeat与自研采集Agent进行日志收集，并使用Kafka作为缓冲消息队列，实现削峰填谷与解耦。

2. 流式计算层

以Flink为核心构建实时计算管道，承担数据清洗、去重、分类、情感分析、实体识别、热度计算等任务。关键设计包括：

• 旁路输出与侧输出流：将异常数据与主流程分离，避免阻塞
• 状态管理：使用RocksDB管理会话状态与去重窗口
• Exactly-Once语义：通过Checkpoint与两阶段提交保障一致性
• 维表关联：使用异步I/O关联规则库与实体词典

3. 在线存储层

根据查询模式进行分层存储：

• Elasticsearch：全文检索与聚合分析，支撑舆情搜索与多维筛选
• ClickHouse：实时OLAP分析，支撑趋势图、热词榜与地域分布等看板
• HBase：存储原始文章内容与详情，供深度回溯
• Redis：缓存热点数据与实时排行榜

4. 服务层

通过统一API网关对外提供检索、分析、预警与推送服务，支持RESTful与WebSocket协议，实现实时消息推送与预警触达。

关键处理环节实践

实时去重

舆情数据中存在大量转载与重复发布，采用SimHash与布隆过滤器结合的方式在流式计算中实现毫秒级去重，去重准确率达到95%以上。

实时分类与情感分析

利用预训练模型进行文本分类与情感极性判断，通过Flink异步调用模型服务下沉计算，并采用GPU推理集群保障吞吐能力。

热度计算

热度模型综合阅读量、转发量、评论量、情感烈度与信源权重等因子，在Flink中通过滚动窗口进行增量计算，实现分钟级更新。

预警触发

基于CEP复杂事件处理实现规则引擎，支持阈值触发、突变检测与组合条件匹配，预警延迟控制在秒级。

运维与保障

在线数据处理链路需具备可观测性。团队通过Prometheus与Grafana监控端到端延迟与吞吐指标，结合告警规则实现异常主动发现；利用Flink Savepoint实现版本升级时的状态迁移，保障业务连续性。

##

互联网舆情系统的在线数据处理需要在架构上兼顾实时性与可靠性。百分点大数据团队通过Kafka+Flink+ES/ClickHouse的分层架构，结合状态管理、异步维表关联与CEP规则引擎，构建了高性能的实时数据处理链路，为舆情发现、分析与预警提供了坚实支撑。未来将持续探索流批一体与智能算力调度，进一步降低延迟与资源成本。