Rust の例: XZ 圧縮された JSONlines ファイルをストリーム展開して単一の属性を出力

このサンプルプログラムは、XZ 圧縮された JSONlines ファイルを解析し、存在する場合は各行の timestamp 属性を出力します。無効な行や空行は無視されます。

main.rs

stream_decompress.rs
//! このプログラムは、XZ で圧縮された JSONlines ファイルをストリーム展開し、
//! 各行を JSON として解析し、存在する場合は "timestamp" フィールドを出力します。
//! 無効な行や空行は無視されます。

use std::fs::File; // ファイルを開くため
use std::io::{BufRead, BufReader}; // バッファ付き読み込み用
use anyhow::{Context, Result}; // エラー処理用
use serde::Deserialize; // JSON のデシリアライズ用
use xz2::read::XzDecoder; // XZ 展開用

/// JSONlines ファイルの 1 行を表します。
/// "timestamp" フィールドのみが抽出されます。
#[derive(Deserialize, Debug)]
struct Line {
    timestamp: Option<f64>,
}

/// 指定された XZ 圧縮 JSONlines ファイルを処理します。
/// オンザフライで展開し、各行を JSON として解析し、
/// 利用可能な場合はタイムスタンプを出力します。無効な行は無視します。
fn process_file(path: &str) -> Result<()> {
    // ファイルを開く
    let file = File::open(path).with_context(|| format!("Failed to open file: {}", path))?;
    // 効率化のためバッファ付きリーダーを作成
    let reader = BufReader::new(file);
    // XZ 展開器でラップ
    let decompressor = XzDecoder::new(reader);
    // 行ごとの読み込み用に別のバッファ付きリーダー
    let buf_reader = BufReader::new(decompressor);

    // 各行を反復処理
    for line_result in buf_reader.lines() {
        let line = match line_result {
            Ok(l) => l,
            Err(_) => continue, // IO エラーの行をスキップ
        };
        // 空行をスキップ
        if line.trim().is_empty() {
            continue;
        }
        // JSON として解析を試みる
        match serde_json::from_str::<Line>(&line) {
            Ok(obj) => {
                // タイムスタンプが存在する場合に出力
                if let Some(ts) = obj.timestamp {
                    println!("{}", ts);
                }
            }
            Err(e) => {
                eprintln!("Failed to parse JSON line: {}", e);
                continue;
            }
        }
    }
    Ok(())
}

/// メインエントリーポイント。
/// 最初の引数としてファイルパスを取るか、サンプルファイルをデフォルトとします。
fn main() -> Result<()> {
    // 最初の位置引数としてファイルパスを要求。
    // ない場合は簡単な使用法メッセージを出力し、非ゼロコードで終了します。
    let mut args = std::env::args();
    let prog = args.next().unwrap_or_else(|| "rust_parse_status_logs".to_string());
    let path = match args.next() {
        Some(p) => p,
        None => {
            eprintln!("Usage: {} <path-to-xz-jsonlines-file>", prog);
            std::process::exit(2);
        }
    };

    // ファイルを処理
    process_file(&path)
}

Cargo.toml

Cargo.toml
[package]
name = "rust_parse_status_logs"
version = "0.1.0"
edition = "2021"

[dependencies]
serde = { version = "1", features = ["derive"] }
serde_json = "1"
xz2 = "0.1"
anyhow = "1"

入力例

example.json
{"timestamp": 1744267290.991, "status": "ok"}
{"timestamp": 1744267291.987, "status": "ok"}
{"status": "missing timestamp"}
invalid json line

プログラムの入力ファイルを作成するには、このファイルを XZ で圧縮する必要があることに注意してください。

compress_example.sh
xz example.json

ビルドと実行

run_decompress_example.sh
cargo run -- example.json.xz

期待される出力:

decompress_output.txt
    Finished dev [unoptimized + debuginfo] target(s) in 0.05s
     Running `target/debug/rust_parse_status_logs example.json.xz`
1744267290.991
1744267291.987
Failed to parse JSON line: expected value at line 1 column 1

同じカテゴリの類似記事をチェック: Rust