2013年04月24日(Wed) どんより晴れ [長年日記]
● データが多い
The GitHub Data Challenge IIにチャレンジするべく、昼の仕事の合間にGitHub ArchiveのJSONファイルをいただいて解析させてるのですが。JSONファイルに含まれてるイベントのいくつかはさらにGitHub APIからの情報をいただかなくちゃいけなくて、1時間分のイベントを解析するのに1.5時間程度かかります。1時間ごとに起動してる1時間分の解析プロセスはどんどーんたまって、APIの制限でGitHubアプリが使えなくなる、などの副作用が出ています。きっとGitHubさん側もあんまりいい顔してないだろな（´・ω・｀）すみません。
こういうの、どうすればいいのでしょうね。BigQueryの使い方をちゃんと勉強してこちらのリミットにかからないようにするのかな。
いろいろ考えるの楽しいです。仕事に戻ろう。
[ツッコミを入れる]
![[FSF Associate Member]](/p/171619.png){kind=small}
最近のツッコまれどころ