必要に応じてイベント企画もがんばる須藤です。
2019年12月11日にApache Arrow東京ミートアップ2019を開催しました。去年のApache Arrow東京ミートアップ2018に引き続き2回目の開催です。今回もSpeeeさんに会場提供・懇親会用飲食物提供などもろもろお世話になりました。ありがとうございます!
関連リンク:
Apache Arrowの最新情報(2019年9月版)で紹介した通り、Apache Arrow 1.0.0がリリースされようとしています。おそらく、2020年2月くらいにリリースされるのではないかと思います。そこで、今年のApache Arrow東京ミートアップはApache Arrowユーザーを増やすことを目指して企画しました。
私のパートでは、Apache Arrowをまだ知らない人向けにApache Arrowが実現しようとしていることを紹介しました。技術的な詳細にはあまり立ち入らず、要点を理解してもらえるといいなという感じでまとめたつもりです。Apache Arrowについてを知るために最初にざっと確認する資料として活用できるものになっているといいな。
去年のイベントではApache Arrowの開発に参加する人を増やそうと企画しましたが、今年は1.0.0のリリース(初のメジャーリリース!)が近いということもあり、Apache Arrowのユーザーを増やすキッカケになるように企画しました。
発表内容を次のような内容にしたのはユーザーを増やすことを目指したためです。
参加した方はApache Arrowを使ってみたくなったでしょうか?参加できなかった方は以下に資料が公開されているので参考にして使い始めてみてください。
このような情報を提供する場にすることでApache Arrowを使い始める最初の敷居を下げることを狙いました。
さらに、もっと敷居を下げる施策として次の2つを実施しました。
クリアコードはApache Arrow関連の技術的詳細に詳しいです。まずはPoCから始めたいという方を支援できるのではないかという考えからこの案を提示しました。今回のイベントに参加していない方からのPoC支援も受け付けていますので、興味のある方はお問い合わせください。
Apache Arrow 1.0.0のリリースが近づいてきたのでApache Arrowユーザーを増やすためにApache Arrow東京ミートアップ2019を開催しました。イベント開催を全面的に支援してくれたSpeeeさん、発表してくれたみなさん、参加者のみなさんには今回も大変お世話になりました。またお世話になると思うのでそのときもまたよろしくおねがいします!
Apache Arrow 1.0.0の正式リリースを間近に控えた先週12月11日に、第二回目となるApache Arrow東京ミートアップが開催されました。
今回の会場は株式会社Speeeの六本木オフィスをご提供いただきました。O'Reilly本が並んだ書棚を背景に、シックな木目の家具で統一された会場で、とても素敵な会場でした。
ミートアップの内容としては、まずプログラムの冒頭で弊社の須藤から簡単なガイダンスがあった後、7人の講演者による発表がありました。
本記事の作者(藤本)の聴講メモより、各発表の要点をまとめます(箇条書き外は藤本の感想です)。
Apache Arrowプロジェクトが単なるデータ形式にとどまらず、ストレージや計算実行まで拡大しつつある状況がよく分かる報告でした。また「まだ全体的に議論が進んでいる段階で、実装の手が届いていないところも多いので、積極的に開発に関与すると喜ばれるかもしれない」とのことでした。
sparklyr
にApache Arrow対応が入った。これでApache Sparkとの間でApache Arrowで直接やりとりできるようになった。@pandas_udf
というデコレータを使うだけでApache Arrow形式を使えるようになっている。ベンチマークの結果から、これでかなり高速化できることが分かっている。なぜApache Arrowが開発されたのかとても納得がいく発表でした。要するに、並列計算のパラダイムのシステムでは、設計上、計算を実行するノード間で膨大なデータのコピーが発生する。このため、パースの手間を可能な限り省いたApache Arrowのようなデータ形式を採用することで、飛躍的な速度の向上が見込めるのです。
ここで講演は終了して、残りの時間ではSpeeeさんにご提供いただいた夕食を食べながらの懇親会がありました。立食形式で興味のある講演者の方と直接お話することができるようになっていて、それぞれのテーブルでは活発に議論が交わされていました。
以上でApache Arrow東京ミートアップ2019 は終了しました。3時間という枠で様々な側面からの発表が聞けた充実した会だったと思います。会場を提供頂いた株式会社Speeeさんをはじめとする関係者および講演者のみなさまには改めてお礼申し上げます。ありがとうございました。