サイバーエージェントのアドテクコンペに参加してきました。
参加した動機
サポーターズという組織主催の逆求人イベントで知り合った人事さんに勧められて、アドテクコンペは結構高負荷なインフラを体験出来ると聞いたので興味を持ったのがきっかけです。
内容
データ分析チームとサーバーサイドチームでチームを作って、三日間でDSPを開発するって感じの内容でした。自分はサーバーサイドでインフラの方をやりました。GCPが無尽蔵に使えるとのことでアツかった。
成果物
インフラ自体はGoogle Kubernetes Engineをガッツリ使って組みました。また、継続的インテグレーションを使ってイメージをGithubにプッシュしてDocker Imageをいい感じにビルドしてほぼダウンタイムゼロでシュッとKubernetesクラスタにデプロイ出来る環境とかも作りました。私は使い慣れているという理由も合ってCircle CIを使ったのですが、無料枠で使ってたのもあってかビルドからデプロイまでめっちゃ時間かかっていたのが難点でした。GCPのGoogle Cloud Buildを使ったほうが良かった。あとはリソースの可視化とかもやりました。折角なのでNodeにexpoter仕込んでPrometheus+Grafanaでかっこよく可視化とかしたかったのですが、結局DatadogというSaaSを使いました。Datadogを使ったのは初めてだったのですが、かなりkubernetes環境に最適化されている感じで良かったです。出してくれるグラフも結構それっぽくてかっこいい。
全体としてはこんな感じになりました。GKEを触ったのは初めてだったのですが、これがかなりよく出来ていて、特にServiceをapplyすると自動でTCPロードバランサを作ってくれるとことかすごいなあと思いました。(小並感)
反省点としては、データ分析チームに作っていただいた予測モデルが予想以上に計算時間がかかるというところを考えないで設計してしまったところかなあと思います。予測用のAPIとアプリケーションとの通信がボトルネックになると想定して同一Pod内で動かしていたのが失敗でした。予測APIに関してはGAEに切り出すとか、別のkubernetesクラスタで回すとか(これだとアプリと一緒にGCR経由でシュッとデプロイ出来そう)、Cloud FunctionsにAPI本体を乗せるというのもありだったかもしれない。あとはStackDriverを完全に理解しておらず、レスポンスタイム等の詳細なメトリクスを取る方法が分からなかったのがつらい。
感想
GCPを触ったことがなかったのでAWSと比較してどうなんだろうとかずっと思ってたんですが、AWSにひけをとらないくらい使いやすかったです。GCPでは無料枠として$300/Yearのクレジットが付与されるので個人的にも使いたいと思いました。kubernetesも実際にクラスタ組んで使ったことはなかったのでいろいろ触れて良かったです。最近よく聞くようになったService Meshという奴も結構Control Planeがkubernetesに優しいという印象があるのでkubernetesを使えるようになりたいと思っていたのでかなり勉強になりました。参加してよかったです。