データサイエンス」カテゴリーアーカイブ

WebクローラーでAIの学習データ収集

車載カメラによる動画からYOLOで石造物検出をするようになると、検出対象の石造物の種類を増やしたくなり、より多くの学習データが必要になりました。そこで、もともとは月待塔というマイナーな石造物の情報収集用に作ったScrapyとYOLOによるWebクローリングと物体検出の仕組みを利用して、AIの学習用データを収集することにしました。
続きを読む

ScrapyとYOLOによるWebクローリングと物体検出


ScrapyによるWebクローラーの開発」で作成したクローラーと、「Darknet YOLOをPythonで使う」で作成したディープラーニングによる月待塔の検出(実際には、「夜」と刻まれた石造物の検出)を組み合わせて、クローリングで得られた画像から月待塔を検出します。
続きを読む

ScrapyによるWebクローラーの開発


ScrapyはWebサイトのクローリングとスクレイピングのための、Pythonで実装されたフレームワークです。スクレイピングはWebページから情報を抽出する技術であり、クローリングはWebページのリンクを辿りながら情報を取得する技術です。
Scrapyを使用して、指定したサイト内の画像ファイルとその画像が貼られたページのURLリストをMySQLのデータベースに格納するWebクローラーを開発します。
続きを読む

Darknet YOLOをPythonで使う


前回はVisual Studioでビルドしたdarknet.exeを使用して、石造物に刻まれた文字の学習と検出の実験をしました。
Darknet YOLOはDLL版をビルドすることによりAPIの利用が可能になります。独自のAIアプリケーションを開発する際には、exeファイルをコマンドとして起動するよりも適しています。また、Python用のラッパーも用意されています。
そこで今回は、指定したフォルダから月待塔の写っている画像ファイルを探し出す簡単なPythonプログラムを作成することとします。
続きを読む