Go言語のWorker Poolパターンをマスター!効率的に並行処理を管理しよう
先生と生徒の会話形式で理解しよう
生徒
「先生、Goで複数のgoroutineを使うと便利ですが、数が増えすぎるとメモリやCPUが心配です。」
先生
「その通りです。そこでWorker Poolパターンを使うと、goroutineの数を制御しつつ効率的に並行処理ができます。」
生徒
「Worker Poolって具体的にはどういう仕組みですか?」
先生
「簡単に言うと、複数の作業員(Worker)がいて、仕事(Job)を順番に割り振る仕組みです。goroutineの数を一定に保ち、CPUやメモリを効率よく使えます。」
1. Worker Poolパターンの基本構造
Worker Poolは、仕事を送るjobsチャンネルと結果を受け取るresultsチャンネルを使います。複数のWorkerがjobsチャンネルから仕事を受け取り、処理結果をresultsチャンネルに送ります。
package main
import (
"fmt"
"sync"
"time"
)
func worker(id int, jobs <-chan int, results chan<- int, wg *sync.WaitGroup) {
defer wg.Done()
for j := range jobs {
fmt.Printf("Worker %d がジョブ %d を処理中\n", id, j)
time.Sleep(time.Second)
results <- j * 2
}
}
func main() {
jobs := make(chan int, 5)
results := make(chan int, 5)
var wg sync.WaitGroup
for w := 1; w <= 3; w++ {
wg.Add(1)
go worker(w, jobs, results, &wg)
}
for j := 1; j <= 5; j++ {
jobs <- j
}
close(jobs)
wg.Wait()
close(results)
for res := range results {
fmt.Println("結果:", res)
}
}
この例では3つのWorkerが存在し、5つのジョブを処理します。Worker Poolにより、goroutineの数を制御しながら並行処理を実現しています。
2. Worker Poolのメリット
- goroutineの数を制限できるため、CPUやメモリの消費を抑えられる
- ジョブの処理状況を簡単に管理できる
- 複数のWorkerで処理を分散し、全体の処理時間を短縮できる
- エラー処理やキャンセル処理を組み込みやすい
Worker Poolは大規模なデータ処理やWebサーバーのリクエスト処理など、多くの場面で応用できます。
3. Worker Poolのベストプラクティス
初心者でも安全にWorker Poolを使うためのポイントです。
- Workerの数はCPUコア数や処理の重さを考えて設定する
- channelを使うときはバッファ付きかどうかを検討する
sync.WaitGroupを使って全Workerの終了を待つ- ジョブ送信後は必ずchannelを
closeする - 結果チャンネルのcloseも忘れずに行い、安全に
rangeで受信する
これらのポイントを守ることで、Worker Poolを使った並行処理を安全かつ効率的に実装できます。
4. Worker Poolの応用例
Worker Poolは、例えばWebスクレイピングやAPIリクエスト、画像処理などで便利です。複数の処理を並列で実行しつつ、処理数を制限することでリソースの過剰消費を防ぎます。
例えば、10件の画像を3つのWorkerで同時に処理すると、CPUとメモリを安定させながら全ての画像を処理できます。Worker Poolは効率的で安全な並行処理の基本パターンです。