zlwu 22b4036340 提交 7 달 전
..
sql 64d40478bd 提交 8 달 전
README.md 64d40478bd 提交 8 달 전
requirements.txt 64d40478bd 提交 8 달 전
run_curr_daily.py 64d40478bd 提交 8 달 전
run_daily_stats_pipeline.py 22b4036340 提交 7 달 전
run_user_daily_activity.py fcc10ded8f 提交 8 달 전
setting.conf f288653f33 提交 8 달 전
setting.conf.example 64d40478bd 提交 8 달 전

README.md

dailyCount 日聚合与 CURR 脚本

从 user_events、messages、users 汇总到 user_daily_activity,再计算 CURR 写入 curr_daily。

配置

  1. 复制 setting.conf.example 为 setting.conf,按环境修改 MySQL 与 active_events。
  2. 安装依赖:pip install -r requirements.txt(或 pip install pymysql)。

执行顺序

先跑日聚合,再跑 CURR(CURR 依赖 user_daily_activity):

python run_user_daily_activity.py    # 当天(UTC) 聚合
python run_curr_daily.py             # 昨天+今天 CURR

常用用法

命令 说明
python run_user_daily_activity.py 仅跑当天(UTC)
python run_user_daily_activity.py --days 7 补跑最近 7 天
python run_user_daily_activity.py --daemon 按 setting.conf 的 interval_minutes 循环执行
python run_curr_daily.py 统计昨天与今天的 CURR(默认 --days 2)
python run_curr_daily.py --days 7 补跑最近 7 天 CURR
python run_curr_daily.py --daemon 循环执行

定时建议

crontab 每 60 分钟执行(先 activity 后 curr):

0 * * * * cd /path/to/Lyrria/dailyCount && python run_user_daily_activity.py && python run_curr_daily.py

或使用两脚本的 --daemon 模式(各开一个进程)。