AI技術でビジネスの未来を創造する取り組み

うちの会社が目指している「AI技術でビジネスの未来を創造する」という方向性、外から見ると華やかに聞こえるかもしれないですけど、中にいると本当に地道な取り組みの積み重ねなんだなーって日々感じています。特に最近、個人的に「これ、非常に大事だな」って痛感してるのが、生成AI、特にRAG（Retrieval-Augmented Generation）を業務で活用する際の「データ準備」のステップです。社内の知識をAIに回答させるなんて、夢のようじゃないですか。でも、その夢を実現するには、AIが読み込めるようにデータをキレイにしてあげるという、泥臭い作業が不可欠なのです。

非構造化データという課題

実際、社内に眠っているデータって、PDF形式の報告書とか、手書きメモをスキャンした画像とか、フォーマットがバラバラなExcelファイルとか、いわゆる「非構造化データ」の山だったりしませんか？この前、数十ページにわたる製品マニュアルのPDFをAIに読み込ませようとしたんですけど、いざテキストを抽出してみたら、図表のせいで文章がブツ切れになったり、レイアウトが崩れて意味不明な文字列になったりして、頭を抱えちゃいました。結局、AIの性能を最大限に引き出すには、入力するデータの「質」が非常に重要なんだって、改めて思い知らされました。

データの前処理とPythonライブラリ

この「データの前処理」って、本当に奥が深くて。例えばPythonを使ってPDFを処理するだけでも、いろいろなライブラリがあるのです。テキスト中心ならPyMuPDF、表データが多ければcamelot-pyとか。最近だと、いろいろなファイル形式にまとめて対応してくれるunstructuredというライブラリが非常に便利でよく使ってます。簡単な使い方ですけど、こんな感じ。

from unstructured.partition.pdf import partition_pdf

# high_resを使うとOCRで画像内の文字も読んでくれる
elements = partition_pdf("example-docs/layout-parser-paper.pdf", strategy="high_res")

for element in elements:
 print(element)

もちろん、これだけで万事OKってわけじゃなくて、ファイルごとに最適な方法を試行錯誤する必要があるんですけど、こういう武器を知っているか知らないかで、作業効率が天と地ほど変わってくるんです。

実践で役立つツールとライブラリ

• PyMuPDF：テキスト中心のPDF処理に最適、高速で安定した動作
• camelot-py：表データの抽出に特化、複雑なレイアウトにも対応
• unstructured：様々なファイル形式に対応、OCR機能も統合
• pandas：データの整形・クリーニングに必須のツール

データ品質がAIの性能を左右する

結局、最新のLLMがどれだけ賢くても、元になるデータが整理されていなければ宝の持ち腐れになってしまう。だからこそ、AIプロジェクトの成功って、実はこういう地味で目立たないデータ整備のノウハウに支えられている部分が大きいんだろうなと。まだまだ勉強中の身ですけど、こういう泥臭い部分から一緒に考えて、最適な方法を導き出してくれる専門家が社内にいるのは、本当に心強いなあと思います。

AIとデータの未来

気候テック業界でも、AI技術を活用したデータ分析や最適化が進んでいます。再生可能エネルギーの発電予測、エネルギー消費の最適化、カーボンフットプリントの算定など、多くの分野でAIが活躍しています。しかし、これらすべての基盤となるのは、正確で質の高いデータです。今後、データ準備のノウハウがますます重要になることは間違いありません。