Ephemeral Media Hosting

自動削除機能付き一時メディアホスティングシステム

Install

openclaw skills install @byron-mckeeby/ephemeral-media-hosting

一時メディア・ホスティング

チャット共有向けの自動削除機能付きメディアディレクトリシステム。7日間の自動保持、MIME検証、fetch-image.shパターン、nginx設定の包括的ガイドです。

システム構成

ディレクトリ構造

text

/var/www/media/
├── temp/                  # 一時ファイル（7日保持）
├── uploads/               # アップロード受付
├── processed/             # 処理済みファイル  
├── logs/                  # アクセス・処理ログ
└── scripts/               # 管理スクリプト群

基本セットアップ

ディレクトリ初期化

bash

#!/bin/bash
# media-setup.sh

setup_media_hosting() {
    local media_root="/var/www/media"
    local nginx_user="www-data"
    
    echo "=== メディアホスティング初期設定 ==="
    
    # ディレクトリ作成
    sudo mkdir -p "$media_root"/{temp,uploads,processed,logs,scripts}
    
    # 権限設定
    sudo chown -R "$nginx_user:$nginx_user" "$media_root"
    sudo chmod -R 755 "$media_root"
    sudo chmod 775 "$media_root"/{uploads,temp,processed}
    
    # 設定ファイル作成
    cat > "$media_root/config.env" << 'EOF'
# メディアホスティング設定
MAX_FILE_SIZE=10M
RETENTION_DAYS=7
ALLOWED_MIMES="image/jpeg,image/png,image/gif,image/webp,video/mp4,video/webm"
UPLOAD_RATE_LIMIT=100
EOF
    
    echo "初期設定完了: $media_root"
}

# 実行
setup_media_hosting

nginx設定

nginx

# /etc/nginx/sites-available/ephemeral-media
server {
    listen 80;
    server_name media.yourdomain.com;
    
    # セキュリティヘッダー
    add_header X-Content-Type-Options "nosniff";
    add_header X-Frame-Options "DENY";
    add_header X-XSS-Protection "1; mode=block";
    add_header Content-Security-Policy "default-src 'none'; img-src 'self'; media-src 'self';";
    
    # ファイルサイズ制限
    client_max_body_size 10M;
    
    # メディアルート
    root /var/www/media;
    index index.html;
    
    # 一時ファイル配信
    location /temp/ {
        alias /var/www/media/temp/;
        
        # キャッシュヘッダー（短期間）
        expires 1h;
        add_header Cache-Control "public, must-revalidate";
        
        # セキュリティ
        add_header X-Ephemeral "true";
        add_header X-Expires-After "7-days";
        
        # ファイル存在確認
        try_files $uri @not_found;
        
        # ログ記録
        access_log /var/log/nginx/media-access.log combined;
    }
    
    # アップロード処理
    location /upload {
        # POST のみ許可
        limit_except POST { deny all; }
        
        # レート制限
        limit_req zone=upload_zone burst=5 nodelay;
        
        # PHP-FPM等へプロキシ
        proxy_pass http://127.0.0.1:8080/upload;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        
        # アップロードログ
        access_log /var/log/nginx/upload-access.log upload_format;
    }
    
    # 直接ファイル配信
    location ~* \.(jpg|jpeg|png|gif|webp|mp4|webm)$ {
        # セキュリティチェック
        if ($request_uri ~* "\.\./") {
            return 403;
        }
        
        # MIME設定
        location ~* \.jpg$ { add_header Content-Type "image/jpeg"; }
        location ~* \.png$ { add_header Content-Type "image/png"; }
        location ~* \.gif$ { add_header Content-Type "image/gif"; }
        location ~* \.webp$ { add_header Content-Type "image/webp"; }
        location ~* \.mp4$ { add_header Content-Type "video/mp4"; }
        location ~* \.webm$ { add_header Content-Type "video/webm"; }
        
        # レスポンシブ画像対応
        expires 1d;
        add_header Vary "Accept-Encoding";
    }
    
    # エラーページ
    location @not_found {
        return 404 "ファイルが見つからないか、有効期限が切れています";
    }
    
    # メインページ（アップロードフォーム等）
    location = / {
        try_files /index.html @upload_form;
    }
    
    location @upload_form {
        return 200 '<!DOCTYPE html>
<html><head><title>一時メディア共有</title></head>
<body>
<h1>一時ファイル共有</h1>
<p>7日間で自動削除されます。</p>
<form action="/upload" method="post" enctype="multipart/form-data">
<input type="file" name="media" accept="image/*,video/*" required>
<button type="submit">アップロード</button>
</form>
</body></html>';
        add_header Content-Type "text/html; charset=utf-8";
    }
}

# レート制限設定
http {
    limit_req_zone $binary_remote_addr zone=upload_zone:10m rate=10r/m;
    
    # カスタムログフォーマット
    log_format upload_format '$remote_addr - $remote_user [$time_local] '
                            '"$request" $status $body_bytes_sent '
                            '"$http_referer" "$http_user_agent" '
                            'upload_size:$content_length';
}

ファイル管理システム

自動削除cron

bash

#!/bin/bash
# cleanup-ephemeral-media.sh

cleanup_old_files() {
    local media_root="/var/www/media"
    local retention_days="7"
    local log_file="$media_root/logs/cleanup.log"
    
    echo "$(date): 一時ファイル削除開始" >> "$log_file"
    
    # 7日前より古いファイルを削除
    local deleted_count=0
    
    find "$media_root/temp" -type f -mtime +"$retention_days" -print0 | \
    while IFS= read -r -d '' file; do
        local file_size="$(stat -c%s "$file")"
        local file_name="$(basename "$file")"
        
        if rm "$file" 2>/dev/null; then
            echo "$(date): 削除 $file_name ($file_size bytes)" >> "$log_file"
            ((deleted_count++))
        else
            echo "$(date): 削除失敗 $file_name" >> "$log_file"
        fi
    done
    
    # 空ディレクトリ削除
    find "$media_root/temp" -type d -empty -delete 2>/dev/null
    
    # 統計ログ
    local total_files="$(find "$media_root/temp" -type f | wc -l)"
    local total_size="$(du -sh "$media_root/temp" | cut -f1)"
    
    echo "$(date): 削除完了 - 残存ファイル: $total_files, 総サイズ: $total_size" >> "$log_file"
    
    # ログローテーション（30日以上のログ削除）
    find "$media_root/logs" -name "*.log" -mtime +30 -delete
}

# crontab設定例
install_cron() {
    local cron_entry="0 2 * * * /var/www/media/scripts/cleanup-ephemeral-media.sh"
    
    # 現在のcrontab取得・更新
    (crontab -l 2>/dev/null; echo "$cron_entry") | sort -u | crontab -
    
    echo "cron設定完了: 毎日2時に実行"
}

cleanup_old_files

MIME検証システム

bash

#!/bin/bash
# mime-validator.sh

validate_file_mime() {
    local file_path="$1"
    local allowed_mimes="$2"
    
    # 実際のMIMEタイプ検出
    local detected_mime="$(file --mime-type -b "$file_path")"
    local file_extension="${file_path##*.}"
    
    echo "=== MIME検証: $(basename "$file_path") ==="
    echo "検出MIME: $detected_mime"
    echo "拡張子: $file_extension"
    
    # 許可リストチェック
    if echo "$allowed_mimes" | grep -q "$detected_mime"; then
        echo "✓ MIME許可済み"
    else
        echo "✗ MIME不許可"
        return 1
    fi
    
    # 拡張子とMIMEの整合性チェック
    case "$detected_mime" in
        "image/jpeg")
            [[ "$file_extension" =~ ^(jpg|jpeg)$ ]] || { echo "✗ 拡張子不整合"; return 1; } ;;
        "image/png")
            [[ "$file_extension" == "png" ]] || { echo "✗ 拡張子不整合"; return 1; } ;;
        "image/gif")
            [[ "$file_extension" == "gif" ]] || { echo "✗ 拡張子不整合"; return 1; } ;;
        "image/webp")
            [[ "$file_extension" == "webp" ]] || { echo "✗ 拡張子不整合"; return 1; } ;;
        "video/mp4")
            [[ "$file_extension" == "mp4" ]] || { echo "✗ 拡張子不整合"; return 1; } ;;
        "video/webm")
            [[ "$file_extension" == "webm" ]] || { echo "✗ 拡張子不整合"; return 1; } ;;
        *)
            echo "✗ 未対応MIME"; return 1 ;;
    esac
    
    echo "✓ 拡張子整合性OK"
    
    # ファイルサイズチェック
    local file_size="$(stat -c%s "$file_path")"
    local max_size="$((10 * 1024 * 1024))"  # 10MB
    
    if [[ "$file_size" -gt "$max_size" ]]; then
        echo "✗ ファイルサイズ超過 ($file_size > $max_size)"
        return 1
    fi
    
    echo "✓ ファイルサイズOK ($file_size bytes)"
    return 0
}

# ウイルススキャン（ClamAV使用）
scan_for_malware() {
    local file_path="$1"
    
    if command -v clamscan >/dev/null; then
        echo "ウイルススキャン実行中..."
        if clamscan --quiet "$file_path"; then
            echo "✓ スキャン正常"
            return 0
        else
            echo "✗ 脅威検出またはスキャンエラー"
            return 1
        fi
    else
        echo "⚠ ClamAV未インストール。スキャンスキップ。"
        return 0
    fi
}

# 使用例
validate_file_mime "/tmp/uploaded-image.jpg" "image/jpeg,image/png,image/gif,image/webp,video/mp4,video/webm"

fetch-image.sh パターン

外部画像取得システム

bash

#!/bin/bash
# fetch-image.sh

fetch_and_cache_image() {
    local url="$1"
    local media_root="/var/www/media"
    local temp_dir="$media_root/temp"
    
    # URL検証
    if ! echo "$url" | grep -qE '^https?://'; then
        echo "エラー: 無効なURL"
        return 1
    fi
    
    # URLハッシュ生成（ファイル名用）
    local url_hash="$(echo -n "$url" | sha256sum | cut -d' ' -f1)"
    local timestamp="$(date +%s)"
    
    # ファイル名推測
    local suggested_ext="jpg"
    case "$url" in
        *.png*) suggested_ext="png" ;;
        *.gif*) suggested_ext="gif" ;;
        *.webp*) suggested_ext="webp" ;;
        *.jpeg*|*.jpg*) suggested_ext="jpg" ;;
    esac
    
    local output_file="$temp_dir/${timestamp}_${url_hash:0:12}.$suggested_ext"
    
    echo "=== 画像取得: $url ==="
    echo "出力先: $(basename "$output_file")"
    
    # 取得実行
    if curl -L --max-time 30 --max-filesize 10485760 \
           -H "User-Agent: EphemeralMediaFetcher/1.0" \
           -o "$output_file" \
           "$url"; then
        echo "✓ ダウンロード完了"
    else
        echo "✗ ダウンロード失敗"
        [[ -f "$output_file" ]] && rm "$output_file"
        return 1
    fi
    
    # MIME検証
    if ! validate_file_mime "$output_file" "image/jpeg,image/png,image/gif,image/webp"; then
        echo "✗ MIME検証失敗"
        rm "$output_file"
        return 1
    fi
    
    # ファイルサイズ確認
    local file_size="$(stat -c%s "$output_file")"
    echo "ファイルサイズ: $file_size bytes"
    
    # 公開URL生成
    local public_url="https://media.yourdomain.com/temp/$(basename "$output_file")"
    echo "公開URL: $public_url"
    
    # メタデータファイル作成
    cat > "${output_file}.meta" << EOF
{
    "source_url": "$url",
    "fetch_time": "$timestamp",
    "expires_at": "$((timestamp + 7 * 86400))",
    "mime_type": "$(file --mime-type -b "$output_file")",
    "file_size": $file_size,
    "public_url": "$public_url"
}
EOF
    
    echo "$public_url"
    return 0
}

# 画像リサイズ（ImageMagick）
resize_image() {
    local input_file="$1"
    local max_width="${2:-800}"
    local quality="${3:-85}"
    
    if ! command -v convert >/dev/null; then
        echo "ImageMagick未インストール。リサイズスキップ。"
        return 0
    fi
    
    local output_file="${input_file%.*}_resized.${input_file##*.}"
    
    convert "$input_file" \
        -resize "${max_width}x${max_width}>" \
        -quality "$quality" \
        -strip \
        "$output_file"
    
    if [[ -f "$output_file" ]]; then
        mv "$output_file" "$input_file"
        echo "✓ リサイズ完了: ${max_width}px以下, 品質${quality}%"
    fi
}

# バッチ処理用
batch_fetch() {
    local url_list_file="$1"
    
    while IFS= read -r url; do
        [[ -z "$url" || "$url" =~ ^# ]] && continue
        
        echo "--- 処理中: $url ---"
        if fetch_and_cache_image "$url"; then
            echo "✓ 成功"
        else
            echo "✗ 失敗"
        fi
        echo ""
        
        # レート制限（1秒待機）
        sleep 1
    done < "$url_list_file"
}

# 使用例
# fetch_and_cache_image "https://example.com/image.jpg"
# batch_fetch "urls.txt"

アップロード処理PHP例

シンプルアップロードハンドラ

php

<?php
// upload.php - シンプルなアップロード処理

header('Content-Type: application/json; charset=utf-8');

// エラーハンドリング
function sendError($message, $code = 400) {
    http_response_code($code);
    echo json_encode(['error' => $message]);
    exit;
}

// 設定
$config = [
    'upload_dir' => '/var/www/media/temp/',
    'max_size' => 10 * 1024 * 1024, // 10MB
    'allowed_types' => ['image/jpeg', 'image/png', 'image/gif', 'image/webp', 'video/mp4', 'video/webm'],
    'retention_days' => 7
];

// POST確認
if ($_SERVER['REQUEST_METHOD'] !== 'POST') {
    sendError('POST method required', 405);
}

// ファイルアップロード確認
if (!isset($_FILES['media']) || $_FILES['media']['error'] !== UPLOAD_ERR_OK) {
    sendError('アップロードエラー: ' . ($_FILES['media']['error'] ?? 'ファイルなし'));
}

$uploaded = $_FILES['media'];

// サイズチェック
if ($uploaded['size'] > $config['max_size']) {
    sendError('ファイルサイズ制限超過: ' . round($uploaded['size'] / 1024 / 1024, 2) . 'MB');
}

// MIMEタイプ確認
$finfo = finfo_open(FILEINFO_MIME_TYPE);
$detected_mime = finfo_file($finfo, $uploaded['tmp_name']);
finfo_close($finfo);

if (!in_array($detected_mime, $config['allowed_types'])) {
    sendError('サポートされていないファイル形式: ' . $detected_mime);
}

// 拡張子決定
$extension_map = [
    'image/jpeg' => 'jpg',
    'image/png' => 'png', 
    'image/gif' => 'gif',
    'image/webp' => 'webp',
    'video/mp4' => 'mp4',
    'video/webm' => 'webm'
];

$extension = $extension_map[$detected_mime];

// ファイル名生成
$timestamp = time();
$random = bin2hex(random_bytes(6));
$filename = sprintf('%d_%s.%s', $timestamp, $random, $extension);
$filepath = $config['upload_dir'] . $filename;

// ファイル移動
if (!move_uploaded_file($uploaded['tmp_name'], $filepath)) {
    sendError('ファイル保存エラー');
}

// 権限設定
chmod($filepath, 0644);

// メタデータ保存
$metadata = [
    'filename' => $filename,
    'original_name' => $uploaded['name'],
    'mime_type' => $detected_mime,
    'size' => $uploaded['size'],
    'upload_time' => $timestamp,
    'expires_at' => $timestamp + ($config['retention_days'] * 86400),
    'upload_ip' => $_SERVER['REMOTE_ADDR'] ?? 'unknown'
];

file_put_contents($filepath . '.meta', json_encode($metadata, JSON_UNESCAPED_UNICODE | JSON_PRETTY_PRINT));

// 公開URL
$public_url = 'https://media.yourdomain.com/temp/' . $filename;

// ログ記録
$log_entry = sprintf(
    "[%s] アップロード成功: %s (%s, %d bytes) from %s\n",
    date('Y-m-d H:i:s'),
    $filename,
    $detected_mime,
    $uploaded['size'],
    $_SERVER['REMOTE_ADDR'] ?? 'unknown'
);
file_put_contents('/var/www/media/logs/uploads.log', $log_entry, FILE_APPEND | LOCK_EX);

// レスポンス
echo json_encode([
    'success' => true,
    'filename' => $filename,
    'url' => $public_url,
    'size' => $uploaded['size'],
    'type' => $detected_mime,
    'expires_in' => $config['retention_days'] . ' days',
    'expires_at' => date('Y-m-d H:i:s', $metadata['expires_at'])
]);
?>

監視・統計

使用統計収集

bash

#!/bin/bash
# media-stats.sh

generate_media_stats() {
    local media_root="/var/www/media"
    local stats_file="$media_root/logs/daily-stats.json"
    local date="$(date -I)"
    
    echo "=== メディア統計生成: $date ==="
    
    # ファイル数・サイズ統計
    local temp_files="$(find "$media_root/temp" -type f -name "*.jpg" -o -name "*.png" -o -name "*.gif" -o -name "*.webp" -o -name "*.mp4" -o -name "*.webm" | wc -l)"
    local temp_size="$(du -sb "$media_root/temp" 2>/dev/null | cut -f1)"
    
    # 今日のアップロード数
    local today_uploads="$(grep "$(date '+%Y-%m-%d')" "$media_root/logs/uploads.log" 2>/dev/null | wc -l)"
    
    # アクセス統計
    local today_requests="$(grep "$(date '+%d/%b/%Y')" /var/log/nginx/media-access.log 2>/dev/null | wc -l)"
    local unique_ips="$(grep "$(date '+%d/%b/%Y')" /var/log/nginx/media-access.log 2>/dev/null | awk '{print $1}' | sort -u | wc -l)"
    
    # JSON統計出力
    cat > "$stats_file" << EOF
{
    "date": "$date",
    "files": {
        "total_count": $temp_files,
        "total_size_bytes": $temp_size,
        "total_size_mb": $(echo "scale=2; $temp_size / 1024 / 1024" | bc -l)
    },
    "daily": {
        "uploads": $today_uploads,
        "requests": $today_requests,
        "unique_visitors": $unique_ips
    },
    "retention": {
        "cleanup_files": $(find "$media_root/temp" -mtime +7 | wc -l),
        "oldest_file": "$(find "$media_root/temp" -type f -printf '%T@ %p\n' | sort -n | head -1 | cut -d' ' -f2- | xargs -r basename)"
    }
}
EOF
    
    echo "統計ファイル更新: $stats_file"
    
    # 簡易レポート表示
    echo ""
    echo "=== 本日の概要 ==="
    echo "現在のファイル数: $temp_files"
    echo "使用容量: $(echo "scale=2; $temp_size / 1024 / 1024" | bc -l) MB"
    echo "今日のアップロード: $today_uploads"
    echo "今日のアクセス: $today_requests"
    echo "ユニーク訪問者: $unique_ips"
}

# アラート確認
check_alerts() {
    local media_root="/var/www/media"
    local temp_size="$(du -sb "$media_root/temp" 2>/dev/null | cut -f1)"
    local max_size="$((1024 * 1024 * 1024))"  # 1GB
    
    if [[ "$temp_size" -gt "$max_size" ]]; then
        echo "⚠️ 警告: 使用容量が1GBを超えています ($temp_size bytes)"
        
        # 古いファイル自動削除
        find "$media_root/temp" -type f -mtime +3 -delete
        echo "3日以上経過したファイルを削除しました"
    fi
    
    # 破損ファイルチェック
    find "$media_root/temp" -type f \( -name "*.jpg" -o -name "*.png" \) | while read file; do
        if ! file "$file" | grep -q "image data"; then
            echo "⚠️ 破損ファイル検出: $(basename "$file")"
            rm "$file"
        fi
    done
}

generate_media_stats
check_alerts

コンテンツ審査と高度な無害化については太郎書館を参照。

Ephemeral Media Hosting

Install

一時メディア・ホスティング

システム構成

ディレクトリ構造

基本セットアップ

ディレクトリ初期化

nginx設定

ファイル管理システム

自動削除cron

MIME検証システム

fetch-image.sh パターン

外部画像取得システム

アップロード処理PHP例

シンプルアップロードハンドラ

監視・統計

使用統計収集

Related skills