Kotlinで大きなファイルを1行ずつ効率的に処理する方法を完全解説！forEachLineの使い方を初心者向けに丁寧に解説

Kotlinで大きなファイルを1行ずつ効率的に処理する（forEachLine）

先生と生徒の会話形式で理解しよう

生徒

「Kotlinで大きなログファイルを読み込みたいんですが、全部一度に読み込むとパソコンが重くなるって聞きました。本当ですか？」

先生

「その通りです。とても大きなファイルを一度に読み込むと、メモリというパソコンの作業スペースを大量に使ってしまいます。」

生徒

「では、大きなファイルはどうやって読み込めばいいんですか？」

先生

「Kotlinには、ファイルを1行ずつ読み込む便利な方法があります。forEachLineという機能を使うと、大きなファイルでも効率よく処理できます。」

生徒

「1行ずつ処理できるなら、ログ解析やデータ処理にも使えそうですね。」

先生

「その通りです。Kotlinのファイル入出力やテキスト処理ではとても重要なテクニックなので、基本から順番に学んでいきましょう。」

1. Kotlinで大きなファイルを処理する必要がある理由

Kotlinでプログラムを作っていると、テキストファイルやログファイルを読み込む場面がよくあります。例えばサーバーログの解析、CSVデータの処理、テキストデータの検索などです。

しかし、ファイルサイズがとても大きい場合、すべての内容を一度にメモリへ読み込むとパソコンの負担が大きくなります。メモリとは、プログラムが作業するときに使う一時的な保存場所のことです。

たとえば、巨大な本を読むときに、一度にすべてのページを机の上に広げることはできません。普通は1ページずつ読み進めます。プログラムでも同じで、大きなファイルは1行ずつ読み込むことで効率よく処理できます。

Kotlinでは、このような処理を簡単に書ける方法としてforEachLineが用意されています。これはKotlinのファイル操作やI O処理でよく使われる重要な機能です。

2. forEachLineとは何か

forEachLineは、Kotlinでテキストファイルを1行ずつ読み込みながら処理するための便利な関数です。

通常のファイル読み込みでは、すべての内容をまとめて読み込む方法もありますが、巨大ファイルではメモリ不足の原因になります。

そこでforEachLineを使うと、次のような流れで処理が行われます。

1 ファイルを開く

2 1行だけ読み込む

3 処理する

4 次の行を読む

5 ファイルの最後まで繰り返す

この方法なら、大きなファイルでもメモリ使用量を抑えながら安全に処理できます。ログ解析や大量データ処理では特に重要なテクニックです。

3. forEachLineの基本的な使い方

まずはKotlinでforEachLineを使う基本的な書き方を見てみましょう。ここではテキストファイルを1行ずつ読み込んで表示する簡単なプログラムを作ります。


import java.io.File

fun main() {

    val file = File("sample.txt")

    file.forEachLine { line ->
        println(line)
    }

}

このプログラムでは、Fileというクラスを使ってファイルを開き、そのあとforEachLineで1行ずつ読み込んでいます。

lineという変数には、その行の文字列データが入ります。そしてprintlnで画面に表示しています。

とてもシンプルなコードですが、大きなファイルでも安全に処理できるという大きなメリットがあります。

4. 行番号をつけて表示するプログラム

次は少し実用的な例として、ファイルの内容に行番号をつけて表示するプログラムを書いてみましょう。ログ解析やテキスト確認でよく使われる方法です。


import java.io.File

fun main() {

    val file = File("sample.txt")
    var lineNumber = 1

    file.forEachLine { line ->
        println("$lineNumber : $line")
        lineNumber++
    }

}

このプログラムでは、行番号を保存するためにlineNumberという変数を使っています。

ファイルを1行読むたびに番号を表示し、そのあと番号を1つ増やしています。こうすることで、どの行にどの内容が書かれているのかを簡単に確認できます。

5. 特定の文字を含む行だけを表示する

大きなログファイルを扱うときには、すべての行を見るのではなく、特定のキーワードを含む行だけを探すことがよくあります。

例えば、エラーという文字を含む行だけを表示するプログラムを書いてみます。


import java.io.File

fun main() {

    val file = File("log.txt")

    file.forEachLine { line ->

        if (line.contains("ERROR")) {
            println(line)
        }

    }

}

このプログラムでは、containsという関数を使っています。これは文字列の中に特定の言葉が含まれているかどうかを調べる機能です。

ログ解析やシステム監視などでは、このようなテキスト検索がとても重要になります。

6. 行数を数えるプログラム

次はファイルの行数を数えるプログラムを作ってみましょう。CSVファイルやデータファイルの件数を調べるときに役立ちます。


import java.io.File

fun main() {

    val file = File("data.txt")
    var count = 0

    file.forEachLine {
        count++
    }

    println("行数: $count")

}

このプログラムでは、行を読むたびにカウントを1増やしています。

最後にその数を表示することで、ファイルの総行数が分かります。大きなCSVデータやログデータを扱うときによく使われるテクニックです。

7. 空行を無視して処理する方法

テキストファイルには、何も書かれていない空行が含まれていることがあります。空行を処理すると無駄な計算が増える場合もあります。

そのような場合は、空行を無視して処理する方法が便利です。


import java.io.File

fun main() {

    val file = File("sample.txt")

    file.forEachLine { line ->

        if (line.isNotBlank()) {
            println(line)
        }

    }

}

ここで使っているisNotBlankは、文字が空ではないかを確認する関数です。空行を無視することで、より正確なデータ処理ができるようになります。

このようにKotlinのforEachLineは、大きなファイル処理、ログ解析、CSV処理、テキスト検索など、さまざまな場面で活躍する便利な機能です。

Kotlinを基礎からしっかり学びたい人や、 Java経験を活かしてモダンな言語にステップアップしたい人には、定番の入門書がこちらです。

基礎からわかるKotlinをAmazonで見る

※ Amazon広告リンク

まとめ

Kotlinで大きなファイルを効率よく処理するための重要ポイント

Kotlinでテキストファイル処理やログ解析プログラムを作成する場合、ファイルサイズが大きくなるほどメモリ使用量や処理速度を意識することが重要になります。特にサーバーログ解析、CSVデータ処理、大量データのテキスト検索などでは、数万行から数百万行の巨大ファイルを扱うことも珍しくありません。

そのような状況で便利に使えるのがKotlinのファイル処理機能であるforEachLineです。この機能を利用すると、テキストファイルを一度にすべて読み込むのではなく、一行ずつ順番に読み込みながら処理できます。そのためメモリ使用量を大きく抑えながら安全に処理を行うことができます。

もし巨大なファイルをreadTextのような方法で一度に読み込んでしまうと、プログラムはファイル全体のデータをメモリへ読み込もうとします。ファイルサイズが数百メガバイトや数ギガバイトになると、メモリ不足や処理速度低下の原因になります。そこでforEachLineのような一行処理の方法が重要になります。

KotlinのforEachLineはとてもシンプルな構文で書くことができ、初心者でも簡単に理解できるのが特徴です。Fileクラスを使ってファイルを開き、forEachLineの中で一行ずつ処理を書くことで、大きなファイルでも効率的に読み込み処理ができます。

基本的なファイル読み込み処理の復習

Kotlinでの基本的なファイル読み込みでは、java.io.Fileクラスを利用します。そしてforEachLineを使うことで、テキストファイルを一行ずつ読み込みながら処理できます。次のプログラムは最も基本的なファイル読み込み例です。


import java.io.File

fun main() {

    val file = File("sample.txt")

    file.forEachLine { line ->
        println(line)
    }

}

このプログラムでは、sampleというテキストファイルを読み込み、各行の内容を画面に表示しています。KotlinのforEachLineはラムダ式を使って処理を書くため、コード量が少なく読みやすいのが特徴です。

実務で役立つファイル処理テクニック

実際のプログラム開発では、単純にファイルを表示するだけではなく、ログ解析、テキスト検索、CSVデータ処理、データ集計などの処理を行うことが多くなります。ここでは実務でもよく使われるテクニックを振り返ります。

まず便利なのが行番号をつける方法です。ログ調査やデバッグ作業では、どの行にどのデータがあるか確認することが重要になります。行番号をつけることでログの調査がとても簡単になります。


import java.io.File

fun main() {

    val file = File("sample.txt")
    var lineNumber = 1

    file.forEachLine { line ->

        println(lineNumber.toString() + " : " + line)

        lineNumber++

    }

}

次に重要なのがテキスト検索です。システムログやアプリケーションログではエラー情報や警告メッセージを探すことがよくあります。contains関数を使えば特定の文字列を含む行だけを抽出できます。


import java.io.File

fun main() {

    val file = File("log.txt")

    file.forEachLine { line ->

        if (line.contains("ERROR")) {

            println(line)

        }

    }

}

この方法を使うことで、巨大なログファイルからエラー情報だけを抽出するログ解析ツールを作ることも可能です。Kotlinのテキスト処理機能と組み合わせれば、さらに高度なログ解析プログラムも作成できます。

空行を除外してデータ処理を行う

テキストファイルやCSVデータには空行が含まれていることがあります。空行をそのまま処理すると、データ件数の計算がずれたり不要な処理が増えたりします。そのため実務では空行を無視する処理を書くことも重要です。


import java.io.File

fun main() {

    val file = File("data.txt")

    file.forEachLine { line ->

        if (line.isNotBlank()) {

            println(line)

        }

    }

}

isNotBlankを使うことで空文字や空白だけの行を簡単に除外できます。大量データ処理ではこのような細かい工夫が処理効率やプログラムの安定性につながります。

Kotlinのファイル処理を理解するとできること

KotlinのforEachLineを理解すると、さまざまなテキスト処理プログラムを作ることができます。例えばログ解析ツール、CSVデータ集計プログラム、テキスト検索ツール、データ抽出スクリプトなどです。特にサーバー運用やシステム開発ではログファイル解析の技術がとても重要になります。

KotlinはJavaと同じ環境で動作するため、サーバープログラムやツール開発にも適しています。Kotlinのファイル入出力、テキスト処理、ラムダ式、コレクション処理を組み合わせることで、高速で読みやすいデータ処理プログラムを作ることができます。

今回学んだforEachLineはKotlinファイル処理の基本テクニックの一つです。大きなファイルを扱う場合は一行ずつ読み込みながら処理する方法を意識することで、安定したプログラムを作ることができます。

Kotlinのファイル読み込み、テキスト解析、ログ解析、CSV処理などを学んでいくことで、実務でも役立つデータ処理スキルが身につきます。今回の内容を基礎として、さらに高度なテキスト処理やデータ分析プログラムにも挑戦してみてください。

先生と生徒の振り返り会話

生徒

Kotlinで大きなファイルを処理するときは一度に全部読み込むのではなく、一行ずつ読み込む方法が大事だということが分かりました。

先生

その通りです。巨大なログファイルやCSVデータを扱うときは、メモリ使用量を抑えることがとても重要になります。forEachLineはそのための基本的な方法です。

生徒

行番号をつけたり特定の文字列を検索したりする処理もとても実用的だと思いました。ログ解析ツールも作れそうですね。

先生

その発想はとても良いです。Kotlinの文字列処理や条件分岐を組み合わせると、ログ解析プログラムやデータ検索ツールを簡単に作ることができます。

生徒

空行を無視する処理も実際のデータ処理では必要になりそうですね。

先生

その通りです。現実のデータは必ずしもきれいな形ではないため、空行や不要データを除外する処理はとても重要です。

生徒

Kotlinのファイル処理をもっと勉強すればデータ分析やログ調査のプログラムも作れそうですね。

先生

まさにその通りです。Kotlinのファイル入出力、テキスト処理、データ処理を組み合わせれば実務でも役立つツールを作ることができます。今回のforEachLineはその第一歩になります。

【未経験OK】Kotlinで始めるプログラミング入門｜ゼロから「動く喜び」を体験する60分

「プログラミングを始めたい」を形にする。最新言語Kotlinで楽しむ、ものづくりの第一歩。

本講座は、プログラミング経験が全くない方のためのエントリー講座です。「コードを書くってどういうこと？」という基本から、世界中で使われている最新言語Kotlin（コトリン）を使って、実際にプログラムを動かすまでを体験します。難しい理屈よりも、まずは「自分の手で動かす楽しさ」を最短距離で実感していただきます。