WikiStream: Real-Time Wikipedia Edit Analytics Platform

WikiStream ist eine Plattform zur Echtzeitanalyse von Wikipedia-Bearbeitungen, gebaut auf AWS, um Live-Ereignisse aus den Wikimedia EventStreams zu erfassen, zu verarbeiten, zu validieren und auszuwerten. Ein containerisierter Python-Producer auf Amazon ECS Fargate konsumiert den Server-Sent-Events-Feed und veröffentlicht ausgewählte Ereignisse in Amazon MSK Kafka. Die Plattform konzentriert sich auf besonders aktive Wikipedia-Sprachversionen und unterstützt die Analyse von Content-Aktivität, Verhalten der Beitragenden, Bot-Aktivität, regionalen Mustern und potenziell auffälligem Bearbeitungsverhalten.

Die Datenpipeline folgt einer Bronze-Silver-Gold-Medallion-Architektur auf Basis von Apache-Iceberg-Tabellen in Amazon S3 Tables. EMR Serverless mit Spark Structured Streaming nimmt Kafka-Ereignisse in Drei-Minuten-Mikrobatches in die Bronze-Schicht auf, wobei Checkpointing und idempotente MERGE-Operationen eine Exactly-once-Verarbeitung sicherstellen sollen. Bronze-Datensätze bewahren Angaben zu Quelle, Kafka, Ereignis, Revision, Nutzer und Inhaltsgröße. Nachgelagerte Spark-Batch-Jobs erzeugen eine bereinigte und angereicherte Silver-Schicht und daraus stündliche Statistiken, Nutzer-Risikowerte und tägliche Analyseübersichten auf Gold-Ebene.

Datenqualität wird über eine Abfolge von Gates durchgesetzt, bevor nachgelagerte Transformationen starten. Bronze-Prüfungen umfassen Vollständigkeit, Aktualität und Gültigkeit; Silver-Prüfungen decken Genauigkeit, Konsistenz, Eindeutigkeit und Drift-Erkennung ab; Gold-Prüfungen validieren die vorgelagerten Ergebnisse und die Konsistenz der Aggregationen. Die Ergebnisse werden in eigenen Iceberg-Audit-Tabellen vorgehalten.

AWS Step Functions orchestriert den fortlaufenden Batch-Zyklus, während CloudWatch, SNS, eine Lambda-Recovery-Funktion und ein lokales Grafana Monitoring, Alarmierung und die Wiederherstellung von Bronze-Jobs unterstützen. Amazon Quick Suite stellt Gold- und Silver-Daten über Terraform-bereitgestellte Athena-Datensätze bereit und visualisiert sie in Dashboards zu Aktivität, Regionen, Beitragenden, Risiko und Plattformzustand. Terraform stellt die AWS-Infrastruktur bereit, und die CI prüft Python, Terraform, Docker, Sicherheit und Secret-Scanning. Das Projekt zeigt ein kostenbewusstes, beobachtbares und produktionsnah gedachtes Design für Streaming-Data-Engineering.