はじめまして、ATL でソフトウェアエンジニアをやっている伊藤 (@takahi_i) です。この度 RedPen という自然言語で書かれた文書のチェックツールをベータ公開しました (ベータバージョンでの告知となってしまい恐縮です)。本ツールが対象とする自然言語で書かれた文書としては、マニュアル、論文、E-メールなどがあります。以下プロジェクトの URL となります。

http://redpen.cc

 本稿では RedPen の機能と使い方について紹介します。

RedPen の機能

 RedPen は文書内で使用されている表現の非統一や、読みにくい文、あきらかな不整合を見つけ警告を出力します。現在提供されているのは、以下のように非常にプリミティブな機能です。

  • 文長、パラグラフ長
  • 不正な表現
  • 不正なシンボル
  • カタカナの終了ハイフンの有無
  • カタカナのスペルチェック
  • シンボル前後のスペース
  •  現在プリミティブな機能しか提供していないのには理由があります。本ツールははじめにフォーカスしたいのは自然言語処理などの学問分野で研究されている高度な解析ではなく、プログラミング言語の静的解析ツールが行ってくれるような 明らかな誤りやフォーマット異常 の検出だからです。

    対応フォーマット

     現状の RedPen は Markdown と Textile の一部のタグ、およびプレインテキストに対応しています。

    RedPen を利用する

     詳しい利用方法はマニュアルを参照していただくことにして、今回は RedPen に同梱されているデフォルトの設定とサンプル文書を利用して RedPen を使ってみます。

    サンプル設定

     RedPen は3つの設定ファイルを持ちます。1つは全体の設定ファイルで、以下のように残り2つの設定ファイルと入力言語を指定します (以下の設定ファイルでは日本語、”ja” が指定されています)。

     全体の設定ファイルで指定される2つの設定ファイルは Validator 設定ファイルと、使用文字設定ファイルです。

    Validator 設定ファイル

     Validator 設定ファイルではチェックしたい項目をカバーする Validator を追加します。Validator とは入力文書を1つの側面からチェックします(入力文長、不正なシンボルなど)。

     上記の設定では、

  • 文長 (SentenceLength)
  • 不正な文字 (InvalidCharacter)
  • スペース (SpaceWithSymbol)
  • カタカナの長音 (KatakanaEndHypen)
  • カタカナのスペルチェック(KatakanaSpell)
  • が登録されています。

    使用文字設定ファイル

     使用する文字集合のデフォルト設定はメインの設定ファイルの言語 (langフィールド) で決定されます。指定した言語の使用文字のデフォルト設定と違った設定を利用したい場合には、使用文字設定ファイルでデフォルトの設定を上書きします。

     使用文字設定ファイルには、利用する文字と、使っては行けない文字、前後にスペースが必要かを設定します。今回は詳しい説明を割愛しますが、文末のピリオドを “。”、コンマを “、” に設定しています。 invalid-chars では各文字と同機能の文字で不正なものを列挙します。たとえば、以下の設定ではコンマに全角文字 “、” を設定し、半角コンマ “,” を不正な文字として登録しています。

    サンプル文書

     今回 RedPen を適用する文書として以下を利用します。以下の文書は RedPen に同梱されています。

    インストールと実行

     では RedPen をダウンロードして使ってみましょう。

    RedPen のインストール

     以下の手順で RedPen をダウンロード、ビルドしてください (Git と Maven が必要になります)。

    RedPen の実行

     ではビルドした RedPen を実行してみます。

    実行結果

     上記のコマンドを実行すると、以下のように警告が出力されます。

     では上記の結果をみてみましょう。上記の結果には4つの警告 (ValidationError) が出力されています。1つ目の警告は入力文書の一文目が長すぎるという警告です。2つ目の警告は、利用されたコンマが登録された文字と異なっていることを表しています。3つ目の警告は “サーバー” という単語のハイフンがいらないために出力されています。4つ目の警告はカタカナ単語 “インデックス” と字面が似ている “インデクス” というカタカナ単語があることを教えてくれています。

    現状と今後

     RedPen はベータリリースの状態です。現状アプリケーションとしてとりあえず動作する状態で、今後正式リリースまでに多くの変更が予定されています。特に設定ファイルのフォーマット (XML) は開発陣の間で変えたいという声が多数派をしめており、今後変更されることになりそうです。また Validator のインターフェースなども変更も開発陣の間で活発に議論されていますのでその点につきましてご了承いただければと思います。

     我々が現状の RedPen を使みた際の最も大きな不満は設定の煩雑さです。たとえば現在の RedPen では不正な表現を検知する Validator (InvalidExpressionValidator) はユーザ自身が不正な表現リストを作る必要があります。設定の煩雑さを設定やリソースの追加なしで利用できるように言語毎の初期設定を与えたり、設定無しで利用できる Validator を揃えることで解決してゆきたいと考えています。設定なしでできる Validator として省略表記に対する正式名称が文書中に存在するかのチェックや、日本語の文語、口語の混在をチェックすることなどを考えています。

     そのほか今後予定されている大きな改良としては、簡単に Validator を追加するためのプラグイン対応があります。今後もゆっくりと開発が続いてゆく予定ですので生暖かく見守っていただければと思います。どうぞよろしくお願いいたします。

    TAGS: