Apache Arrow(2)
Apache Arrowで統計情報
Apache Arrowの開発に参加している須藤です。現時点でapache/arrowのコミット数は1位です。私はRubyでデータ処理できるようになるといいなぁと思ってApache Arrowの開発に参加し始めました。同じような人が増えるといいなぁと思ったりなにか試したりしましたが、あいかわらず、今でも実質1人でApache ArrowのRuby対応をしています。何度目かの「もっと仲間を増やさないと!」という気持ちになったので、最近の活動を紹介して仲間を増やそうと試みます。
統計情報関連のこともがんばっていたことを思い出したので紹介します。
JRubyでもApache Arrowを使いたい?
Apache Arrowの開発に参加している須藤です。現時点でapache/arrowのコミット数は1位です。私はRubyでデータ処理できるようになるといいなぁと思ってApache Arrowの開発に参加し始めました。同じような人が増えるといいなぁと思ったりなにか試したりしましたが、あいかわらず、今でも実質1人でApache ArrowのRuby対応をしています。何度目かの「もっと仲間を増やさないと!」という気持ちになったので、最近の活動を紹介して仲間を増やそうと試みます。
そのために選んだ話題がJRubyなのはちょっとアレな気もしますが、最近「がんばったな!」という気持ちになったのがこれだからしょうがない。
PostgreSQL Conference Japan 2023 - Apache Arrow Flight SQLでPostgreSQLをもっと速く! #pgcon23j
なんともう2ヶ月前になってしまったのですが、PostgreSQL Conference Japan 2023でApache Arrow Flight SQLでPostgreSQLをもっと速く!という話をしてきた須藤です。
PyArrow 0.14.0から14.0.0にはデータ読み込み時に任意のコードを実行できる脆弱性があるから対応してね! CVE-2023-47248
Apache ArrowのPMCメンバーの須藤です。
2023-11-09にPyArrow 14.0.1がリリースされました。このバージョンでは「Apache Arrowファイル・Apache Parquetファイル読み込み時に任意のPythonコードを実行できる」という脆弱性を修正しています。信頼できないファイルを読み込むような使い方をしている人はすぐに対応してください。自分が作ったファイルを自分で読み込むというように信頼できるファイルのみを読み込んでいる場合はこの脆弱性は問題になりません。
なお、この脆弱性はPyArrowのみで発生し、Apache ArrowのC++実装やRubyバインディングなど他の言語用のライブラリーでは発生しません。
Apache Arrow Flight SQL adapter for PostgreSQL 0.1.0リリース! #ApacheArrow #PostgreSQL
2023年9月14日時点でApache Arrowのコミット数1位の須藤です。Apache Arrow本体の開発もがんばっているのですが、それとは別に、PostgreSQLにApache Arrow Flight SQLでアクセスできるようにするPostgreSQLの拡張機能も開発しています。昨日、その拡張機能Apache Arrow Flight SQL adapter for PostgreSQLの最初のバージョン0.1.0をリリースしたので自慢します。
このプロダクトはRubyKaigi 2023の発表の最後の方で少し自慢していたプロダクトです。
2022年のApache ArrowのPMC chairの成果
2022年のApache ArrowのPMC chairだった須藤です。役割を終え、PMC chairが変わったので私のPMC chairの成果をまとめます。
私がApache ArrowのPMC chairになった経緯やPMC chairってなに?そもそもPMCってなに?などは代表取締役の須藤がApache ArrowのPMC chairに就任を参照してください。
RubyKaigi 2022 after event for Fast data processing with Ruby and Apache Arrow #rubykaigi
この記事は9月22日にYouTube Liveで放送した RubyKaigi 2022 after event for Fast data processing with Ruby and Apache Arrow のまとめです。
Apache ArrowのPMC chairである須藤が話し手、たなべさんを聞き手として、Apache Arrowに関する質問に回答をするという趣向の放送でした。
RubyKaigi 2022 - Fast data processing with Ruby and Apache Arrow #rubykaigi
RubyKaigi 2022でFast data processing with Ruby and Apache ArrowというApache Arrowを使ってRubyで高速にデータ処理する話をした須藤です。
Apache Arrowの最新情報(2022年5月版)
Apache ArrowのPMC chair(プロジェクトリーダーみたいな感じ)の須藤です。2022年5月時点のApache Arrowの最新情報を日本語で紹介します。