Apache Arrow東京ミートアップ2018を主催したした須藤です。会場提供・飲食物提供などSpeeeさんにいろいろ協力してもらいました。ありがとうございます。

私はApache Arrow本体のことを網羅的に紹介しました。データの配置のことなど日本OSS推進フォーラム アプリケーション部会 第10回勉強会では触れなかった技術的な詳細についても紹介しています。

関連リンク：

• スライド（Rabbit Slide Show）

• スライド（SlideShare）

• リポジトリー

集まりの目的

この集まりは勉強会ではありません。勉強をする集まりではなく開発者を増やす集まりです。開発対象のプロダクトはApache Arrowだけでなく、Apache Arrow以外でもデータ処理に関わるプロダクトであればなんでもOKです。

そのため参加枠は次の2つにしました。

• 開発に参加したい気持ちがある枠

• 開発に参加したい気持ちがなくはない枠

開発に参加する気がある人だけが参加する集まりということです。

目的（開発者を増やす）の実現方法

「開発者を増やす」という目的を実現するために時間の使い方を次の2つにわけました。

• 前半：開発を始めるための情報提供の時間

• 後半：開発を始める時間

後半では「開発の1歩目を踏み出せる」ことを目指しました。ポイントは「1歩目」です。この集まりの時間内で「バリバリ開発する」を目指していないということです。この集まりの時間で「なにに取り組もうか」が決まれば十分です。取り組むと決めたことに実際に取り組み始められればなおよしです。

「何に取り組もうか」を決めるために必要そうな情報を前半に提供しました。

前半：開発を始めるための情報提供の時間

前半では、まず私がApache Arrowの関する全体的な情報を提供しました。今回はApache Arrowを軸にいろいろなプロダクトの開発者を増やしたかったので、どのプロジェクトでも参考になりそうな予備知識としてApache Arrowの情報を最初に提供しました。

その後は次のテーマごとに詳しい人から情報を提供しました。適切な人に情報提供してもらえて本当によかったなぁと思っています。

• Apache Spark

  • 資料：Apache Arrow and Pandas UDF on Apache Arrow

  • 情報提供者：上新さん（Apache SparkのコミッターでApache SparkのApache Arrow対応の開発にも参加）

• Multiple-Dimension-Spread

  • 資料：Multiple-Dimension-Spread と Apache Arrow

  • 情報提供者：井島さん（Multiple-Dimension-Spreadの開発者でApache Arrow対応部分も実装）

• R

  • 資料：RとApache Arrow

  • 情報提供者：湯谷さん（日本のR界隈で一番前からApache Arrowのことを調べている）

  • ブログ：Apache Arrow東京ミートアップ2018で「RとApache Arrow」について話してきました - Technically, technophobic.

• Ruby

  • 資料：RubyとApache Arrow

  • 情報提供者：

    • 畑中さん（Red Data ToolsメンバーとしてRuby用のデータ処理ツールを開発）

    • 橋立さん（Ruby用ログ収集基盤のFluentdでApache Arrowを活用するプラグインを開発）

  • ブログ：Apache Arrow東京ミートアップ2018で「RubyとApache Arrow」というタイトルで発表してきました！！！ - hatappi.blog

• Python

  • 資料：PythonとApache Arrow

  • 情報提供者：堀越さん（pandas・Daskのコミッター）

• テンソル

  • 資料：Tensor and Apache Arrow

  • 情報提供者：村田さん（数値計算に詳しくApache Arrowの疎なテンソルを実装中）

みなさんには次の2点を話してくださいとお願いしていました。

• 現状のまとめ

• 今後こうなるとよさそう

「今後こうなるとよさそう」は「開発の1歩目」のヒントになることを期待していました。

私も新しく知ったことが多くあったのでみなさんにお願いして本当によかったなぁと思っています。Rubyまわりを開発している人視点で言うと、特にRとPythonの情報は興味深かったです。RubyでもRのALTREP・pandasのExtensionArrayのようなものが必要になるときは来るのだろうか、とか。

後半：開発を始める時間

前半で開発を始めるための情報を得られたので後半では実際に開発を始める時間です。

次のグループにわかれてグループの人と相談しながら各人が「まずはなにに取り組むか」を決めていきます。

• Apache Arrow（Multiple-Dimension-Spread・Ruby関連を含む）

• Apache Spark

• Python

• R

各グループには詳しい人たちがいるのでその人たちと相談しながら「なにに取り組むか」を決めます。私は各人に「まずはなにに取り組むか決まりましたかー？」と聞いてまわったのですが、だいたいみなさん決められたようでした。最初の1歩を踏み出せましたね。

すでにpull requestを出して2歩目・3歩目を踏み出せている人たちもいるのでいくつかリンクを置いておきますね。

• ARROW-3962: [Go] Support null value while reading CSV #3129

• ARROW-3964: [Go] Refactor examples of csv reader #3131

• ARROW-3961: [Python/Documentation] Fix wrong path in the pyarrow README #3127

• Apache Arrow Meetup行ってきた結果OSS活動の一歩を踏み出した - Diary over Finite Fields

まとめ

勉強会ではなく「開発者を増やす」ことを目的にした集まりを開催しました。この集まりをきっかけに開発に参加した人がいたのでよい集まりだったなぁと思っています。「開発者を増やす」ことを目的にした集まりを開催したい人は参考にしてください。

参加した人たちには集まりの最後にアンケートに答えてもらいました。アンケートの結果はGitHubのspeee/code-party/apache-arrow-tokyo-meetup-2018/feedback/から参照できるので、同様の集まりを開催したい人はこちらも参考にしてください。

引き続き開発に参加していきましょう！

なお、クリアコードはApache Arrowを活用してデータ処理ツールの開発をしたいのでデータ処理ツールを開発していてApache Arrowを活用したい方はお問い合わせください。また、一緒にデータ処理ツールの開発をしたい人も募集しているのでわれこそはという方はご応募ください。

ツイートする

フォローする