ゴールデンウィークの前のことになりますが、SciPy Japan Conference 2019でApache Arrowの紹介をした須藤です。
関連リンク：
経緯
まず、ふだんほとんどPythonを書いていない私がどうしてSciPy Japan Conference 2019で話すことになったのか、その経緯を説明します。
もともと、Wes McKinneyさんにオファーがありました。彼はPythonでよく使われているpandasの作者でもあり、Apache Arrowの主要開発者でもあります。SciPy Japan Conference 2019でApache Arrowの紹介をする人としてはうってつけです。しかし、残念ながらSciPy Japan Conference 2019の開催日に日本に来ることができませんでした。そこで、彼が私を紹介しました。私もApache Arrowの主要開発者の1人（2019-04-23時点ではApache Arrowへのコミット数は2位）で、私は東京に住んでいるからです。
ということで、Wesさんからの紹介で私がApache Arrowの紹介をすることになりました。
内容
Pythonのカンファレンスなので、Apache Arrowの一般的な話というより、Pythonユーザーにはどううれしくなりそうかという観点で紹介したつもりです。具体的には近い将来うれしくなりそうな点として次の2点を紹介しました。
-
pikcleの代わりに使って高速化できる
-
データフレームライブラリーが高速化したり大量のデータを扱えるようになる
すでにこれらの点を実現しているプロダクトがあります。
たとえば、Sparkはpickleの代わりにApache Arrowを使うことで100倍以上高速化しています。
参考：Speeding up PySpark with Apache Arrow
たとえば、VaexというデータフレームライブラリーはApache Arrowを（も）使うことでpandasよりも高速に文字列を処理できるようになっています。
参考：Vaex: A DataFrame with super strings
また、どうして高速になるか、大量のデータを扱えるようになるかの理由も説明しました。詳細はスライドやApache Arrowの最新情報（2018年9月版）やApache Arrow東京ミートアップ2018 - Apache Arrowを参照してください。
イベントの内容
SciPy Japan Conferenceは今回が初めての開催ということで参加者は100人いかないくらいでした。PyCon JPと比べると小さな規模です。（PyCon JP 2018は1000人以上の参加者です。）初めての開催ということであまり知られていなかったこととサイエンスに特化した内容ということが影響しているのかと思います。
私は初めてPythonのイベントに参加しましたが、とても国際カンファレンスですごいなぁと思いました。私は海外で開催されている国際カンファレンスには参加したことがなく、参加したことがある国際カンファレンスはRubyKaigiだけなのですが、海外で開催されている国際カンファレンスはこんな感じなのかなぁと思いました。
SciPy Japan Conference 2019の運営をしていた方々から話を聞いたところ、SciPy Japan Conference 2019は本家のSciPy Conferenceを運営している人たちが運営しているということでした。本家のSciPy Conferenceについても教えてもらえました。「今回は機械学習の話題が多かったけど、本家のSciPy Conferenceは機械学習だけでなくサイエンス全般の話題を扱っているんだよ。地球のこととか。SciPy Japan Conferenceもサイエンス全般の話題を扱えるようになるといいな。」みたいな話を聞いてすごくおもしろそうだなぁと思いました。地球のこととかおもしろそう！Rubyでもそんなカンファレンスがあるとおもしろそう！
午前中に3時間のチュートリアルがあるのもおもしろかったです。Rubyのカンファレンスでもやりたいな。（すぐRubyのことを考えてしまう。）
午後はトークでした。知らないことばかりだったので非常に興味深かったです。Pythonではいろんなことが簡単にできるようになっていてワクワクしますね！Rubyでもそうなるといいな。
せっかくいろいろ知れたのでSciPy Japan Conference 2019の最中にこっそりOptunaのRubyバインディングであるRed Optunaを作りました。SciPy Japan Conference 2019に参加してよかったです。Red Optunaのアイディアは初日のレセプションで佐野さんと話しているときにでてきたアイディアです。話せてよかったです。佐野さんは2日目にOptunaのトークをしました。
また参加したいと思ったカンファレンスでした。
まとめ
SciPy Japan Conference 2019で日本のPythonユーザーのみなさんにApache Arrowを紹介しました。Rubyコミュニティー以外にもApache Arrowのことを紹介したいのでApache Arrowのことを知りたくなったら私に声をかけてください！
私はデータ処理ツールの開発という仕事をしたいと思っています。その中にはもちろんApache Arrowの開発も含まれています。一緒に仕事をしたい！（自社サービスをApache Arrow対応したいとか）という方はお問い合わせフォームからご連絡ください。
