Go言語の並行処理設計パターン集！パイプライン・ファンアウト徹底解説

先生と生徒の会話形式で理解しよう

生徒

「Goで複数の処理を同時に動かすとき、どうやって設計すればいいですか？」

先生

「Goでは、goroutineとchannelを組み合わせて効率的に処理を設計する方法があります。代表的なのはパイプラインとファンアウトのパターンです。」

生徒

「パイプラインとファンアウトって何ですか？」

先生

「簡単に言うと、パイプラインは処理を順番につなげる流れ、ファンアウトは同じ処理を複数のgoroutineで分担するやり方です。」

1. パイプラインパターンとは？

パイプラインは、処理を段階ごとに分けて、それぞれを独立したgoroutineで実行し、channelでデータを渡す設計パターンです。これにより、大きな処理を小さく分けて効率よく処理できます。

例えば、データを読み込む、加工する、出力するという三段階の処理を考えます。各段階を別のgoroutineで実行し、channelでデータを渡すことで、処理全体の速度を向上させられます。

2. パイプラインのサンプルコード


package main

import "fmt"

func main() {
    nums := make(chan int)
    squares := make(chan int)

    // 数字を生成するgoroutine
    go func() {
        for i := 1; i <= 5; i++ {
            nums <- i
        }
        close(nums)
    }()

    // 数字を二乗するgoroutine
    go func() {
        for n := range nums {
            squares <- n * n
        }
        close(squares)
    }()

    // 結果を表示
    for sq := range squares {
        fmt.Println(sq)
    }
}

この例では、数字を生成するgoroutineと二乗するgoroutineがchannelでデータを渡しています。これがパイプラインの基本的な考え方です。

3. ファンアウトパターンとは？

ファンアウトは、同じ入力を複数のgoroutineで処理して負荷を分散する設計パターンです。大量の処理を効率よくさばくときに有効です。

例えば、ウェブから複数のデータを取得して処理する場合、goroutineを複数立ち上げて同時に処理することで、全体の処理時間を短縮できます。

4. ファンアウトのサンプルコード


package main

import (
    "fmt"
    "sync"
)

func worker(id int, jobs <-chan int, results chan<- int, wg *sync.WaitGroup) {
    defer wg.Done()
    for j := range jobs {
        results <- j * 2
    }
}

func main() {
    jobs := make(chan int, 5)
    results := make(chan int, 5)
    var wg sync.WaitGroup

    // ワーカーを3つ立ち上げる
    for w := 1; w <= 3; w++ {
        wg.Add(1)
        go worker(w, jobs, results, &wg)
    }

    // ジョブを送る
    for j := 1; j <= 5; j++ {
        jobs <- j
    }
    close(jobs)

    // ワーカーの終了を待つ
    go func() {
        wg.Wait()
        close(results)
    }()

    for res := range results {
        fmt.Println(res)
    }
}

この例では、3つのワーカーgoroutineがjobsチャネルからデータを受け取り、処理結果をresultsチャネルに送っています。これがファンアウトの基本形です。