Go言語のWorker Poolパターンをマスター！効率的に並行処理を管理しよう

1. Worker Poolパターンの基本構造

1. Worker Poolパターンの基本構造

Worker Poolは、仕事を送るjobsチャンネルと結果を受け取るresultsチャンネルを使います。複数のWorkerがjobsチャンネルから仕事を受け取り、処理結果をresultsチャンネルに送ります。

package main

import (
    "fmt"
    "sync"
    "time"
)

func worker(id int, jobs <-chan int, results chan<- int, wg *sync.WaitGroup) {
    defer wg.Done()
    for j := range jobs {
        fmt.Printf("Worker %d がジョブ %d を処理中\n", id, j)
        time.Sleep(time.Second)
        results <- j * 2
    }
}

func main() {
    jobs := make(chan int, 5)
    results := make(chan int, 5)
    var wg sync.WaitGroup

    for w := 1; w <= 3; w++ {
        wg.Add(1)
        go worker(w, jobs, results, &wg)
    }

    for j := 1; j <= 5; j++ {
        jobs <- j
    }
    close(jobs)

    wg.Wait()
    close(results)

    for res := range results {
        fmt.Println("結果:", res)
    }
}

この例では3つのWorkerが存在し、5つのジョブを処理します。Worker Poolにより、goroutineの数を制御しながら並行処理を実現しています。

2. Worker Poolのメリット

2. Worker Poolのメリット

• goroutineの数を制限できるため、CPUやメモリの消費を抑えられる
• ジョブの処理状況を簡単に管理できる
• 複数のWorkerで処理を分散し、全体の処理時間を短縮できる
• エラー処理やキャンセル処理を組み込みやすい

Worker Poolは大規模なデータ処理やWebサーバーのリクエスト処理など、多くの場面で応用できます。

3. Worker Poolのベストプラクティス

3. Worker Poolのベストプラクティス

初心者でも安全にWorker Poolを使うためのポイントです。

• Workerの数はCPUコア数や処理の重さを考えて設定する
• channelを使うときはバッファ付きかどうかを検討する
• sync.WaitGroupを使って全Workerの終了を待つ
• ジョブ送信後は必ずchannelをcloseする
• 結果チャンネルのcloseも忘れずに行い、安全にrangeで受信する

これらのポイントを守ることで、Worker Poolを使った並行処理を安全かつ効率的に実装できます。

4. Worker Poolの応用例

4. Worker Poolの応用例

Worker Poolは、例えばWebスクレイピングやAPIリクエスト、画像処理などで便利です。複数の処理を並列で実行しつつ、処理数を制限することでリソースの過剰消費を防ぎます。

例えば、10件の画像を3つのWorkerで同時に処理すると、CPUとメモリを安定させながら全ての画像を処理できます。Worker Poolは効率的で安全な並行処理の基本パターンです。