#!/bin/bash
# ============================================================
#  💚 PHP-FPM 헬스체크 + 보안 통합 워치독
#  서버 배포 경로: /home/altablue/watch_fpm.sh
#
#  기존 기능: 웹사이트 응답 확인 → PHP-FPM 재시작
#  추가 기능: 연속 실패 에스컬레이션, 응답 시간 모니터링,
#            보안 시스템 상태 확인, 일일 요약 보고
#
#  크론: * * * * * /home/altablue/watch_fpm.sh
# ============================================================

# ── 설정 로드 ─────────────────────────────────────
CONFIG_FILE="/etc/security-watchdog/config"
if [ -f "$CONFIG_FILE" ]; then
    source "$CONFIG_FILE"
else
    # 폴백 설정
    HEALTH_CHECK_URL="https://www.picell.biz/about-us/"
    HEALTH_CHECK_TIMEOUT=5
    FPM_SERVICE="php8.3-fpm"
    LOG_DIR="/home/altablue/logs"
fi

# ── 경로 설정 ─────────────────────────────────────
SCRIPT_DIR="$(cd "$(dirname "$0")" && pwd)"
NOTIFY="$SCRIPT_DIR/telegram_notify.sh"
LOGFILE="${LOG_DIR:-/home/altablue/logs}/fpm_watchdog.log"
FAIL_COUNT_FILE="/tmp/.fpm_watchdog_fail_count"
SLOW_LOG="${LOG_DIR:-/home/altablue/logs}/slow_response.log"
DAILY_STATS_FILE="/tmp/.fpm_daily_stats"

# ── 느린 응답 관련 상태 파일 ─────────────────────
SLOW_COUNT_FILE="/tmp/.fpm_slow_count"         # 연속 느린 응답 횟수
SLOW_ALERT_FILE="/tmp/.fpm_slow_alerted"        # 마지막 느린 응답 알림 시각
SLOW_ATTACK_FILE="/tmp/.fpm_slow_attack"        # 슬로우 어택 탐지 알림 시각
SLOW_THRESHOLD="${SLOW_RESPONSE_THRESHOLD:-5.0}"  # 는린 응답 기준(초)
SLOW_RESTART_THRESHOLD="${SLOW_RESTART_THRESHOLD:-10.0}" # 자동 재시작 기준(초)
SLOW_ALERT_COOLDOWN=1800                        # 느린 응답 알림 쿨다운(30분)
SLOW_ALERT_COUNT_TRIGGER=3                      # N연속 노릴 때만 알림
ATTACK_CONN_THRESHOLD="${SLOW_ATTACK_CONN_THRESHOLD:-300}" # 슬로우 어택 ESTABLISHED 임계값

mkdir -p "$(dirname "$LOGFILE")" 2>/dev/null

TIMESTAMP=$(date "+%Y-%m-%d %H:%M:%S")
HOUR=$(date "+%H")
MINUTE=$(date "+%M")

# ── 웹사이트 응답 확인 (응답 시간 포함) ──────────
RESPONSE=$(curl -s -o /dev/null \
    -w "%{http_code}|%{time_total}|%{time_connect}|%{time_starttransfer}" \
    --max-time "${HEALTH_CHECK_TIMEOUT:-5}" \
    "${HEALTH_CHECK_URL}" 2>/dev/null)

STATUS=$(echo "$RESPONSE" | cut -d'|' -f1)
TIME_TOTAL=$(echo "$RESPONSE" | cut -d'|' -f2)
TIME_CONNECT=$(echo "$RESPONSE" | cut -d'|' -f3)
TIME_TTFB=$(echo "$RESPONSE" | cut -d'|' -f4)

# ── 연속 실패 카운트 관리 ─────────────────────────
FAIL_COUNT=0
if [ -f "$FAIL_COUNT_FILE" ]; then
    FAIL_COUNT=$(cat "$FAIL_COUNT_FILE" 2>/dev/null || echo 0)
fi

# ── 일일 통계 관리 ────────────────────────────────
TODAY=$(date "+%Y-%m-%d")
if [ -f "$DAILY_STATS_FILE" ]; then
    STATS_DATE=$(head -1 "$DAILY_STATS_FILE" 2>/dev/null || echo "")
    if [ "$STATS_DATE" != "$TODAY" ]; then
        # 새로운 날 → 어제 통계 리셋
        echo "$TODAY" > "$DAILY_STATS_FILE"
        echo "0" >> "$DAILY_STATS_FILE"  # 총 체크 수
        echo "0" >> "$DAILY_STATS_FILE"  # 실패 수
        echo "0" >> "$DAILY_STATS_FILE"  # 재시작 수
        echo "0" >> "$DAILY_STATS_FILE"  # 느린 응답 수
    fi
else
    echo "$TODAY" > "$DAILY_STATS_FILE"
    echo "0" >> "$DAILY_STATS_FILE"
    echo "0" >> "$DAILY_STATS_FILE"
    echo "0" >> "$DAILY_STATS_FILE"
    echo "0" >> "$DAILY_STATS_FILE"
fi

# 통계 읽기
STATS_CHECKS=$(sed -n '2p' "$DAILY_STATS_FILE" 2>/dev/null || echo 0)
STATS_FAILS=$(sed -n '3p' "$DAILY_STATS_FILE" 2>/dev/null || echo 0)
STATS_RESTARTS=$(sed -n '4p' "$DAILY_STATS_FILE" 2>/dev/null || echo 0)
STATS_SLOW=$(sed -n '5p' "$DAILY_STATS_FILE" 2>/dev/null || echo 0)

# 총 체크 수 증가
STATS_CHECKS=$((STATS_CHECKS + 1))

# ── 응답 분석 ─────────────────────────────────────
if [ "$STATUS" != "200" ]; then
    # ────── 실패 처리 ──────
    FAIL_COUNT=$((FAIL_COUNT + 1))
    echo "$FAIL_COUNT" > "$FAIL_COUNT_FILE"
    STATS_FAILS=$((STATS_FAILS + 1))

    echo "[$TIMESTAMP] ❌ 응답 이상 (Status: $STATUS, 연속실패: $FAIL_COUNT)" >> "$LOGFILE"

    # PHP-FPM 재시작
    systemctl restart "${FPM_SERVICE}" 2>/dev/null
    STATS_RESTARTS=$((STATS_RESTARTS + 1))

    echo "[$TIMESTAMP] 🔄 ${FPM_SERVICE} 재시작 완료" >> "$LOGFILE"

    # 에스컬레이션 로직
    if [ "$FAIL_COUNT" -ge 5 ]; then
        # 5회 연속 실패 → CRITICAL
        "$NOTIFY" "CRITICAL" "🚨 <b>PHP-FPM 연속 실패 (${FAIL_COUNT}회)</b>

🌐 URL: ${HEALTH_CHECK_URL}
📊 Status: ${STATUS}
🔄 ${FPM_SERVICE} 재시작 ${FAIL_COUNT}회 시도

⚠️ 서버 상태를 즉시 확인해주세요!
가능한 원인:
• 서버 과부하
• 디스크 용량 부족
• MySQL 다운
• DDoS 공격"

        # 10회 이상이면 nginx도 재시작 시도
        if [ "$FAIL_COUNT" -ge 10 ]; then
            systemctl restart nginx 2>/dev/null
            echo "[$TIMESTAMP] 🔄 nginx 재시작 시도 (연속 실패 ${FAIL_COUNT}회)" >> "$LOGFILE"
        fi

    elif [ "$FAIL_COUNT" -ge 3 ]; then
        # 3회 연속 실패 → WARNING
        "$NOTIFY" "WARNING" "⚠️ <b>PHP-FPM 반복 실패 (${FAIL_COUNT}회 연속)</b>

🌐 URL: ${HEALTH_CHECK_URL}
📊 Status: ${STATUS}
🔄 ${FPM_SERVICE} 재시작됨"

    else
        # 1~2회 → 일반 경고
        "$NOTIFY" "WARNING" "⚠️ PHP-FPM 재시작됨
📊 응답: ${STATUS}
🔄 연속 실패: ${FAIL_COUNT}회"
    fi

else
    # ────── 성공 처리 ──────

    # 실패 카운트 리셋 (이전에 실패했다면 복구 알림)
    if [ "$FAIL_COUNT" -gt 0 ]; then
        echo "[$TIMESTAMP] ✅ 복구됨 (이전 연속실패: ${FAIL_COUNT}회)" >> "$LOGFILE"
        "$NOTIFY" "INFO" "✅ <b>서비스 복구 확인</b>

🌐 ${HEALTH_CHECK_URL}
📊 Status: 200 OK
⏱️ 응답 시간: ${TIME_TOTAL}s
🔄 이전 연속 실패: ${FAIL_COUNT}회에서 복구"

        echo "0" > "$FAIL_COUNT_FILE"
    fi

    # ── 느린 응답 감지 ─────────────────────────────────
    if [ -n "$TIME_TOTAL" ] && (( $(echo "$TIME_TOTAL > $SLOW_THRESHOLD" | bc -l 2>/dev/null || echo 0) )); then
        STATS_SLOW=$((STATS_SLOW + 1))
        echo "[$TIMESTAMP] 🐌 느린 응답: ${TIME_TOTAL}s (TTFB: ${TIME_TTFB}s)" >> "$SLOW_LOG"

        # 연속 느린 응답 횟수 업데이트
        SLOW_COUNT=0
        [ -f "$SLOW_COUNT_FILE" ] && SLOW_COUNT=$(cat "$SLOW_COUNT_FILE" 2>/dev/null || echo 0)
        SLOW_COUNT=$((SLOW_COUNT + 1))
        echo "$SLOW_COUNT" > "$SLOW_COUNT_FILE"

        echo "[$TIMESTAMP] 🐌 느린 응답 (${TIME_TOTAL}s, TTFB: ${TIME_TTFB}s, 연속: ${SLOW_COUNT}회)" >> "$LOGFILE"

        # ── ESTABLISHED 연결 수 확인 (슬로우 HTTP 어택 판단) ────
        CONN_COUNT=$(ss -s 2>/dev/null | grep -oP 'estab \K[0-9]+' | head -1 || echo 0)
        IS_ATTACK=0
        if (( CONN_COUNT > ATTACK_CONN_THRESHOLD )) && \
           (( $(echo "$TIME_TOTAL > $SLOW_THRESHOLD" | bc -l 2>/dev/null || echo 0) )); then
            IS_ATTACK=1
        fi

        # ── 자동 재시작: 10초 이상 OR 슬로우 어택 탐지 ────
        SHOULD_RESTART=0
        RESTART_REASON=""
        if (( $(echo "$TIME_TOTAL > $SLOW_RESTART_THRESHOLD" | bc -l 2>/dev/null || echo 0) )); then
            SHOULD_RESTART=1
            RESTART_REASON="응답시간 ${TIME_TOTAL}s 초과 (임계: ${SLOW_RESTART_THRESHOLD}s)"
        elif [ "$IS_ATTACK" -eq 1 ]; then
            SHOULD_RESTART=1
            RESTART_REASON="슬로우 HTTP 어택 탐지 (ESTABLISHED: ${CONN_COUNT}, 응답: ${TIME_TOTAL}s)"
        fi

        if [ "$SHOULD_RESTART" -eq 1 ]; then
            systemctl restart "${FPM_SERVICE}" 2>/dev/null
            STATS_RESTARTS=$((STATS_RESTARTS + 1))
            echo "[$TIMESTAMP] 🔄 ${FPM_SERVICE} 재시작: $RESTART_REASON" >> "$LOGFILE"

            # 슬로우 어택 알림 (30분 쿨다운)
            NOW=$(date +%s)
            LAST_ATTACK_ALERT=0
            [ -f "$SLOW_ATTACK_FILE" ] && LAST_ATTACK_ALERT=$(cat "$SLOW_ATTACK_FILE" 2>/dev/null || echo 0)
            if (( NOW - LAST_ATTACK_ALERT > SLOW_ALERT_COOLDOWN )); then
                "$NOTIFY" "CRITICAL" "🚨 <b>PHP-FPM 자동 재시작</b>

⚡ 원인: $RESTART_REASON
🔗 활성 연결: ${CONN_COUNT}개
⏱️ 응답시간: ${TIME_TOTAL}s (TTFB: ${TIME_TTFB}s)

🔄 ${FPM_SERVICE} 재시작 완료
⚠️ 다음 알림: 30분 후"
                date +%s > "$SLOW_ATTACK_FILE"
            fi
            echo "0" > "$SLOW_COUNT_FILE"
        fi

        # ── 일반 느린 응답 알림 (쿨다운 + N회 연속 조건) ────
        # 쿨다운 내이면 알림 안 보냄 → 알림 피로도 해소
        NOW=$(date +%s)
        LAST_SLOW_ALERT=0
        [ -f "$SLOW_ALERT_FILE" ] && LAST_SLOW_ALERT=$(cat "$SLOW_ALERT_FILE" 2>/dev/null || echo 0)
        COOLDOWN_ELAPSED=$(( NOW - LAST_SLOW_ALERT ))

        if [ "$SHOULD_RESTART" -eq 0 ] && \
           [ "$SLOW_COUNT" -ge "$SLOW_ALERT_COUNT_TRIGGER" ] && \
           (( COOLDOWN_ELAPSED > SLOW_ALERT_COOLDOWN )); then
            "$NOTIFY" "WARNING" "🐌 <b>지속적 느린 응답</b>

🌐 ${HEALTH_CHECK_URL}
⏱️ 응답시간: ${TIME_TOTAL}s
🔗 TTFB: ${TIME_TTFB}s
🔀 ESTABLISHED: ${CONN_COUNT}개
🔄 연속 ${SLOW_COUNT}회 노릴

⚠️ 다음 알림: 30분 후"
            date +%s > "$SLOW_ALERT_FILE"
        fi

    else
        # 응답 정상 → 느린 응답 카운터 리셋
        if [ -f "$SLOW_COUNT_FILE" ]; then
            PREV_SLOW=$(cat "$SLOW_COUNT_FILE" 2>/dev/null || echo 0)
            if [ "$PREV_SLOW" -gt 0 ]; then
                echo "[$TIMESTAMP] ✅ 느린 응답 해소 (연속 ${PREV_SLOW}회)"
            fi
            echo "0" > "$SLOW_COUNT_FILE"
        fi
        echo "[$TIMESTAMP] ✅ 정상 (Status: $STATUS, Time: ${TIME_TOTAL}s)" >> "$LOGFILE"
    fi

    echo "0" > "$FAIL_COUNT_FILE"
fi

# ── 일일 통계 저장 ────────────────────────────────
cat > "$DAILY_STATS_FILE" << EOF
$TODAY
$STATS_CHECKS
$STATS_FAILS
$STATS_RESTARTS
$STATS_SLOW
EOF

# ── 일일 요약 보고 (매일 23:59에 실행) ────────────
if [ "$HOUR" = "23" ] && [ "$MINUTE" = "59" ]; then
    UPTIME_PERCENT=0
    if [ "$STATS_CHECKS" -gt 0 ]; then
        UPTIME_PERCENT=$(echo "scale=2; (($STATS_CHECKS - $STATS_FAILS) * 100) / $STATS_CHECKS" | bc 2>/dev/null || echo "N/A")
    fi

    # 보안 시스템 상태 확인
    FIM_STATUS="❌ 중지됨"
    if systemctl is-active --quiet file-integrity-monitor 2>/dev/null; then
        FIM_STATUS="✅ 실행 중"
    fi

    # 오늘의 보안 이벤트 수
    SECURITY_EVENTS=0
    if [ -f "${LOG_DIR}/alert_history.log" ]; then
        SECURITY_EVENTS=$(grep -c "$(date +%Y-%m-%d)" "${LOG_DIR}/alert_history.log" 2>/dev/null || echo 0)
    fi

    # 격리된 파일 수
    QUARANTINE_COUNT=0
    if [ -d "$QUARANTINE_DIR" ]; then
        QUARANTINE_COUNT=$(find "$QUARANTINE_DIR" -maxdepth 1 -type f -newer "$DAILY_STATS_FILE" 2>/dev/null | wc -l)
    fi

    "$NOTIFY" "DAILY" "📊 <b>일일 서버 보안 보고서</b>
━━━━━━━━━━━━━━━━━━━━

💚 <b>서비스 상태:</b>
• 가동률: ${UPTIME_PERCENT}%
• 총 체크: ${STATS_CHECKS}회
• 실패: ${STATS_FAILS}회
• FPM 재시작: ${STATS_RESTARTS}회
• 느린 응답: ${STATS_SLOW}회

🛡️ <b>보안 상태:</b>
• 파일 감시: ${FIM_STATUS}
• 보안 이벤트: ${SECURITY_EVENTS}건
• 격리 파일: ${QUARANTINE_COUNT}개

📅 날짜: ${TODAY}"
fi

# ── 로그 크기 관리 (50MB 초과 시 트림) ────────────
if [ -f "$LOGFILE" ]; then
    LOG_SIZE=$(stat -c%s "$LOGFILE" 2>/dev/null || echo 0)
    if [ "$LOG_SIZE" -gt 52428800 ]; then
        tail -n 10000 "$LOGFILE" > "${LOGFILE}.tmp"
        mv "${LOGFILE}.tmp" "$LOGFILE"
    fi
fi