ScrapyはWebサイトのクローリングとスクレイピングのための、Pythonで実装されたフレームワークです。スクレイピングはWebページから情報を抽出する技術であり、クローリングはWebページのリンクを辿りながら情報を取得する技術です。
Scrapyを使用して、指定したサイト内の画像ファイルとその画像が貼られたページのURLリストをMySQLのデータベースに格納するWebクローラーを開発します。
続きを読む
「オープンソース」カテゴリーアーカイブ
Darknet YOLOをPythonで使う
前回はVisual Studioでビルドしたdarknet.exeを使用して、石造物に刻まれた文字の学習と検出の実験をしました。
Darknet YOLOはDLL版をビルドすることによりAPIの利用が可能になります。独自のAIアプリケーションを開発する際には、exeファイルをコマンドとして起動するよりも適しています。また、Python用のラッパーも用意されています。
そこで今回は、指定したフォルダから月待塔の写っている画像ファイルを探し出す簡単なPythonプログラムを作成することとします。
続きを読む
LODチャレンジ2019入賞のお知らせ
2019年11月8日
合同会社 緑IT事務所
LODチャレンジ2019入賞のお知らせ
Linked Open Data チャレンジ Japan 2019において、当社代表 小池隆の作品「月待塔オープンデータの可視化」がデータ分析・可視化部門 優秀賞を、「3D石造物データ」がオープンサイエンス賞を受賞したことをお知らせ致します。
→Linked Open Data チャレンジ Japan 2019 受賞作品発表
【本件に関するお問合せ】
合同会社 緑IT事務所
Mail:
URL: https://midoriit.com
SfMによる3Dモデルの作成(3)
WikibaseのAPIによるデータインポート
せっかくWikibaseの環境を構築しても中にデータが入っていなければ何の意味もありません。そこで、PHPのスクリプトを作成して、CSV形式の月待塔オープンデータをAPI経由でインポートすることにします。
続きを読む