Y.A.M の雑記帳: 2月 2015

2015年2月9日月曜日

GAE/Go の GuestBook チュートリアルの Greeting データをダウンロードする

1. Remote API を有効にする
https://cloud.google.com/appengine/docs/go/tools/remoteapi

2. bulkloader.yaml のひな形を作る
$ appcfg.py create_bulkloader_config --filename=bulkloader.yaml --url=http://localhost:8080/_ah/remote_api --application=dev~APPLICATION_ID .

3. bulkloader.yaml を編集する

connector と connector_options を埋める
property_map を編集する
- external_name が CSV のカラムと一致しているか確認する
- __key__ が適切かチェックする。値は import 時は key name に、export 時は Key オブジェクトになる
- import 時に Key を自動生成し、export 時に省略したいなら、__key__ property を property map から削除する
model クラスのモジュールがあるときは、python_preamble: に追加し、kind property を model: クラスに変更する


python_preamble:
- import: base64
- import: re
- import: google.appengine.ext.bulkload.transform
- import: google.appengine.ext.bulkload.bulkloader_wizard
- import: google.appengine.ext.db
- import: google.appengine.api.datastore
- import: google.appengine.api.users

transformers:
- kind: Greeting
  connector: csv
  connector_options:
    encoding: utf-8
    columns: from_header
  property_map:
    - property: Author
      external_name: Author
      import_transform: transform.none_if_empty(unicode)
    - property: Content
      external_name: Content
      import_transform: transform.none_if_empty(unicode)
    - property: Date
      external_name: Date
      import_transform: transform.import_date_time('%Y/%m/%d %H:%M:%S')
      export_transform: transform.export_date_time('%Y/%m/%d %H:%M:%S')

transform.import_date_time() と transform.export_date_time() の文字列はstrptime用のフォーマット文字列
参考: Where are the reference pages of the Google App Engine bulkloader transform?

4 ダウンロードする
$ appcfg.py download_data --config_file=bulkloader.yaml --url=http://localhost:8080/_ah/remote_api --filename=download.csv --kind=Greeting


$ cat download.csv 
Content,Date,Author
"A,B,C",2015/02/09 03:36:21,test@example.com
fuga,2015/02/09 02:07:57,test@example.com
はろーわーるど,2015/02/09 03:21:49,test@example.com
hoge,2015/02/09 02:07:54,test@example.com
Hello World,2015/02/09 03:21:44,test@example.com
what's up,2015/02/09 03:36:01,test@example.com

スペースや日本語があっても"がつかないが、データにカンマ（,）があると"がつくようだ。

毎回メールアドレスが聞かれるのがめんどいときは --email=EMAIL をつけるとよい