このサンプルプログラムは、XZ 圧縮された JSONlines ファイルを解析し、存在する場合は各行の timestamp 属性を出力します。無効な行や空行は無視されます。
main.rs
stream_decompress.rs
//! このプログラムは、XZ で圧縮された JSONlines ファイルをストリーム展開し、
//! 各行を JSON として解析し、存在する場合は "timestamp" フィールドを出力します。
//! 無効な行や空行は無視されます。
use std::fs::File; // ファイルを開くため
use std::io::{BufRead, BufReader}; // バッファ付き読み込み用
use anyhow::{Context, Result}; // エラー処理用
use serde::Deserialize; // JSON のデシリアライズ用
use xz2::read::XzDecoder; // XZ 展開用
/// JSONlines ファイルの 1 行を表します。
/// "timestamp" フィールドのみが抽出されます。
#[derive(Deserialize, Debug)]
struct Line {
timestamp: Option<f64>,
}
/// 指定された XZ 圧縮 JSONlines ファイルを処理します。
/// オンザフライで展開し、各行を JSON として解析し、
/// 利用可能な場合はタイムスタンプを出力します。無効な行は無視します。
fn process_file(path: &str) -> Result<()> {
// ファイルを開く
let file = File::open(path).with_context(|| format!("Failed to open file: {}", path))?;
// 効率化のためバッファ付きリーダーを作成
let reader = BufReader::new(file);
// XZ 展開器でラップ
let decompressor = XzDecoder::new(reader);
// 行ごとの読み込み用に別のバッファ付きリーダー
let buf_reader = BufReader::new(decompressor);
// 各行を反復処理
for line_result in buf_reader.lines() {
let line = match line_result {
Ok(l) => l,
Err(_) => continue, // IO エラーの行をスキップ
};
// 空行をスキップ
if line.trim().is_empty() {
continue;
}
// JSON として解析を試みる
match serde_json::from_str::<Line>(&line) {
Ok(obj) => {
// タイムスタンプが存在する場合に出力
if let Some(ts) = obj.timestamp {
println!("{}", ts);
}
}
Err(e) => {
eprintln!("Failed to parse JSON line: {}", e);
continue;
}
}
}
Ok(())
}
/// メインエントリーポイント。
/// 最初の引数としてファイルパスを取るか、サンプルファイルをデフォルトとします。
fn main() -> Result<()> {
// 最初の位置引数としてファイルパスを要求。
// ない場合は簡単な使用法メッセージを出力し、非ゼロコードで終了します。
let mut args = std::env::args();
let prog = args.next().unwrap_or_else(|| "rust_parse_status_logs".to_string());
let path = match args.next() {
Some(p) => p,
None => {
eprintln!("Usage: {} <path-to-xz-jsonlines-file>", prog);
std::process::exit(2);
}
};
// ファイルを処理
process_file(&path)
}Cargo.toml
Cargo.toml
[package]
name = "rust_parse_status_logs"
version = "0.1.0"
edition = "2021"
[dependencies]
serde = { version = "1", features = ["derive"] }
serde_json = "1"
xz2 = "0.1"
anyhow = "1"入力例
example.json
{"timestamp": 1744267290.991, "status": "ok"}
{"timestamp": 1744267291.987, "status": "ok"}
{"status": "missing timestamp"}
invalid json lineプログラムの入力ファイルを作成するには、このファイルを XZ で圧縮する必要があることに注意してください。
compress_example.sh
xz example.jsonビルドと実行
run_decompress_example.sh
cargo run -- example.json.xz期待される出力:
decompress_output.txt
Finished dev [unoptimized + debuginfo] target(s) in 0.05s
Running `target/debug/rust_parse_status_logs example.json.xz`
1744267290.991
1744267291.987
Failed to parse JSON line: expected value at line 1 column 1
同じカテゴリの類似記事をチェック:
Rust
この記事が役に立った場合は、TechOverflow での新しい記事の調査と公開を支援するため、「Buy Me a Coffee」でのご支援、または PayPal 経由でのご寄付をご検討ください