「Google fusion tables」カテゴリーアーカイブ

Google Fusion Tablesの書き込みについて

昨日は、Google and Bing Maps Hackathon in Japanに主催者として参加してきました。参加されたみなさまお疲れさまでした。

私はMaps系のテクノロジーに詳しくないのですが、今回はじめて、現在のGoogle Mapsで扱う大量のデータを格納しておけるGoogle Fusion Tablesというものを知りました。

Google Fusion TablesにCSVデータをアップロードすると、サーバー内部で取り込み処理が実行されますが結構遅いという印象があります。郵便局が公開している郵便番号の全国データは約12万レコードあるのですが、これを処理するのに10分ぐらいかかりました。

ファイルのアップロード自体はすぐに終わるのですが、そこからの処理で結構時間がかかります。もちろん、データ自体は処理が完了したものがすぐに閲覧できますし、進捗が何%かという情報もリアルタイムで確認する事ができます。(個人的な感覚からすると、もう少し書き込み処理が速くてもいいんじゃないかと思いました)

私は、ウェブからアップロードされたデータ加工についてはウェイト処理が入ってるのかもしれないと考え、Google Fusion Tables API経由で直接インサートするプログラムを書いてマルチスレッドで一気に書き込みをしてみましたが、500エラー(Internal Server Error)が大量に返却され使えませんでした。一応、リトライ処理も入れてあるのですが、プログラムの実行開始直後からエラーの量がどんどん増えていきました。

結果としては、残念でしたがAPIの使い方とか知りたい人もいるでしょうからコードを置いておきます。必要なライブラリはimport文から推測して探して下さい。

続きを読む Google Fusion Tablesの書き込みについて