ククログ

2011-12-01 · ©2008-2020 株式会社クリアコード

1
2
3
4
5
6

#!/usr/bin/env ruby
ARGV[0].to_i.times do |n|
  spawn("sleep", "5")
  sleep 0.2
  GC.start if n % 100 == 0
end

1
2
3
4
5
6
7
8
9
10
11
12
13
14

rb_pid_t
rb_fork_err(...)
{
    rb_pid_t pid;

    for (; before_fork(), (pid = fork()) < 0; prefork()) {
        ...;
    }
    if (!pid) {
        ...; /* 子プロセス用の処理 */
    }
    after_fork();
    return pid;
}

1
2
3
4
5
6
7
8
9
10
11
12
13

rb_pid_t
rb_fork_err(...)
{
    rb_pid_t pid;

    before_fork();
    pid = fork();
    if (!pid) {
        ...; /* 子プロセス用の処理 */
    }
    after_fork();
    return pid;
}

1
2
3
4
5

rb_pid_t
rb_fork_err(...)
{
    return -1;
}

1
2
3
4
5
6

rb_pid_t
rb_fork_err(...)
{
    before_fork();
    return -1;
}

1
2
3
4
5
6
7
8
9
10
11
12

rb_pid_t
rb_fork_err(...)
{
    rb_pid_t pid;

    before_fork();
    pid = fork();
    if (!pid) {
       _exit(EXIT_FAILURE); /* 子プロセスは気にしないのですぐ終了する。 */
    }
    return pid;
}

1
2
3
4
5
6
7
8
9
10
11
12
13
14

static void
rb_thread_create_timer_thread(void)
{
    ...;
    if (!timer_thread_id) {
        pthread_attr_t attr;
        ...;
        pthread_attr_init(&attr);
        ...;
        err = pthread_create(&timer_thread_id, &attr, thread_timer, 0);
        ...;
    }
    ...;
}

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

static int
native_thread_create(rb_thread_t *th)
{
    ...;
    else {
        pthread_attr_t attr;
        ...;
        CHECK_ERR(pthread_attr_init(&attr));
        ...;
        err = pthread_create(&th->thread_id, &attr, thread_start_func_1, th);
        ...;
        CHECK_ERR(pthread_attr_destroy(&attr));
        ...;
    }
    ...;
}

----
* 応募者名（個人名又は団体名）

株式会社クリアコード

* 担当者名

須藤功平

* 連絡先電子メールアドレス

kou@clear-code.com

* 略歴

  * 2006年7月25日: 設立
  * 2008年8月5日: 代表取締役を須藤に交代
  * 2009年6月: 日本Ruby会議2009にスポンサー・発表者として参加
  * 2009年10月: とちぎRuby会議02にスポンサー・発表者として参加
  * 2009年12月: 札幌Ruby会議02にスポンサー・発表者として参加
  * 2010年8月: 日本Ruby会議2010にスポンサー・発表者として参加
  * 2011年3月: 第3回フクオカRuby大賞でコミュニティ特別賞を受賞
  * 2011年6月: 本社移転
  * 2011年6月: 日本Ruby会議2011にスポンサー・発表者として参加

* プロジェクト名

Ruby用ドキュメントツールの国際化対応

* プロジェクトの詳細

以前のRubyは他のプログラミング言語と比較してドキュメントが弱
いと言われていたが、最近ではるりまプロジェクト(*1)や"Ruby
1.9.3 Documentation Challenge"(*2)などによりRubyのドキュメン
トが改善されている。

(*1) http://redmine.ruby-lang.org/projects/rurema/wiki
(*2) http://blog.segment7.net/2011/05/09/ruby-1-9-3-documentation-challenge

しかし、上記の2つのプロジェクトはそれぞれ独立に動いており、片
方の成果をもう一方が取り込む、といったことが難しい状況となっ
ている。ドキュメントを改善する作業はあまり人々の関心を得られ
ず、慢性的にリソースが足りない状況である。それにも関わらず
リソースが分散してしまっており、日本語のRubyのドキュメントも
英語のRubyのドキュメントもRuby全体を網羅したものにはなってい
ないのが現状である。

このような状態になってしまっているのは、ドキュメントツールが
国際化に対応していないことが問題であると考える。そこで、この
プロジェクトではRuby用のドキュメントツールであるYARD(*3)に国
際化機能を実装し、貴重なドキュメント改善作業のリソースを分散
せずに協力して作業できる仕組みを提供する。

(*3) http://yardoc.org/

なお、すでにこの作業は開始しており、YARDのメーリングリストで
国際化対応について議論を行なった(*4)。国際化対応作業の方向に
ついてYARDの作者から合意を得ており、実際にいくつかの機能は実
装済み(*5)である。これより、以下のことが言えるため本プロジェ
クトの実現可能性は高いと考える。

  * YARD開発チームとの関係が良好である
  * すでに方向性が決まっている
  * すでに動き出している

(*4) http://groups.google.com/group/yardoc/browse_thread/thread/9aecb2fe3c6c9d5
(*5) https://github.com/kou/yard

Ruby標準添付のRDocではなくYARDに対して国際化対応を行う理由は
以下のとおりである。

  * 国際化機能を実装するにあたり、RDocでは他のライブラリを利
    用しづらいため。
    （他のライブラリもRubyに標準添付しなければいけないため。）
  * YARDはRDocの上位互換であり、RDocで書かれたドキュメントも
    YARDで扱えるので、YARDの方が国際化機能を適用できる範囲が
    広いため。
  * YARDの方が拡張を意識した作りとなっており、実装しやすいた
    め。

YARDを国際化対応した結果、使い勝手がよく継続的に利用できるも
のであると判断できた場合はRDocへのポーティングも検討すること
を考えているが、本プロジェクトの範囲とはしない。

* プロジェクトの成果物

以下を成果物とする。

  * 国際化機能付きのYARD
  * 国際化されたYARDのドキュメント（日本語のドキュメント）

ただし、YARDのリリースはYARDの開発者が行うため、期間内に上記
のYARDがリリースされるとは限らない。

実装した国際化機能を用いて実際にYARD自体のドキュメントを国際
化する。これにより国際化機能が利用しやすいか・継続可能な仕組
みになっているかを評価する。Ruby本体や多くのライブラリは、一
度作ったら完成するものではなく、日々改良が続けられていくもの
である。そのため、ドキュメントも一度作成したら完成ではなく、
改良に追従していく必要がある。国際化機能そのものも重要である
が、ドキュメントの改良が無理なく続けられる仕組みであることも
重要であるため、その観点でも評価する。
----
----
○ 応募日

平成22年11月13日

○ ソフトウェア、取組等の名称

るりまサーチ

○ 応募者区分

法人・団体として応募

○ 応募者

○○ 応募者名

須藤功平

○○ 応募者名ふりがな

すとうこうへい

○○ 法人・団体 代表者名

須藤功平

○○ 法人・団体 代表者役職

代表取締役

○ 所在地

○○ ＜都道府県＞

東京都

○○ ＜市区町村名、番地＞

文京区本郷1-25-4

○○ ＜ビル名等＞

ベルスクエア本郷5F

○ URL

http://www.clear-code.com/

○ 連絡担当者

○○ 担当者　氏名

須藤功平

○○ 担当者　氏名ふりがな

すとうこうへい

○○ 担当者　所属部署

所属なし

○○ 担当者　役職

代表取締役

○○ 連絡先TEL

03-6231-7270

○○ 連絡先FAX

03-6231-7271

○○ 連絡先e-mail

kou@clear-code.com

○ 1.ソフトウェア、取組等の概要について

○○ （機能・特徴を簡潔に説明してください。）

るりまサーチはRuby本体のリファレンスマニュアルを高速に検索す
るWebアプリケーションです。説明文などテキスト情報から全文検索
して目的のマニュアルを検索する機能はもちろん、マニュアルの記
述対象の種類（クラスについて記述している、インスタンスメソッ
ドについて記述しているなど）など付加的な情報からも絞り込んで
いける機能を提供しています。この多角的に絞り込んでいく機能に
より、少ない労力で目的のマニュアルを見つけ出せることが特徴で
す。

○○ （ソフトウェア、取組等について、参考となるURLを記載してください。）

URL: http://rurema.clear-code.com/

○ 2.ソフトウェア、取組等の目的、ねらいについて

○○ （開発の目的や取組の動機、ターゲット等を記述してください。）

開発の目的:

目的は「Rubyのドキュメントが十分実用的であると評価されるよう
にすること」です。開発に用いる言語を選択する場合の指標のひと
つにドキュメントの充実度が挙げられることがよくあります。その
時、PHPやPythonなどは充実しているが、Rubyはそれほどでもない、
と評価されます。これは、せっかく充実してきたリファレンスマニュ
アルを十分に活用するためのインターフェイスがないことが原因だ
と考えています。

従来のリファレンスマニュアル閲覧Webアプリケーションにも検索機
能がありましたが、全文検索に数十秒かかる、全文検索以外の検索
方法がない、などの理由により、せっかく充実してきたリファレン
スマニュアルを十分に活用することができませんでした。るりまサー
チを開発することにより、検索機能を充実させ、リファレンスマニュ
アルを活用できる環境を提供することで目的の達成に近づくと考え
ています。

ターゲット: Rubyを用いて開発している開発者すべて

○ 3.Rubyを用いた理由、またはRubyに注目した理由について

Ruby本体のリファレンスマニュアルを検索するシステムにはRubyを
用いることが必然だからです。

○ 4.ソフトウェア、取組等の特徴について

○○ 1)優位性、セールスポイントについて、具体的に記載してください。

まず高速であることです。すぐに結果が返ってこないと格段に使い
勝手が悪くなります。処理に何秒もかかった上に「0件ヒット」と
なるようなシステムは使われなくなります。

次にリンクを辿るだけで絞り込んでいけることです。

キーワードがわかっている場合はそのキーワードを入力するだけで
目的のマニュアルをすぐに見つけることができますが、そうでない
場合の方がほとんどです。その場合は絞り込み条件を増やすことに
より、検索結果を絞り込んでいき目的のマニュアルを見つけていき
ます。この操作を簡単にできる仕組みを提供しています。

検索結果内にあらかじめ絞り込み条件をリンクとして挿入しておき
ます。例えば、エンコーディング関連を調べているとします。まず
「enc」というキーワードで絞り込みます。

  http://rurema.clear-code.com/query:enc/

このとき、ページ左のサイドバーには「インスタンスメソッド」や
「定数」など、種類での絞り込み条件を表示します。リンクの右側
に表示されている「（...）」は絞り込み後のヒット数です。アプリ
ケーション側は絞り込みリクエストを受け取る前にすでにヒット数
を知っているので、絞り込み後にヒット数が0になる条件はここに表
示しません。つまり、「絞り込んだ後にヒット数が0になる」という
無駄な操作をユーザがしなくても済むようになっています。

また、ページ本体の検索結果表示部分にも「Rubyのバージョンによ
る絞り込みリンク」、「インスタンスメソッドなどの種類」、「所
属するクラスなど関連する付加情報」などによる絞り込みリンク表
示しています。これにより、リンクを辿るだけでどんどん絞り込ん
でいけるため、少ない労力で目的のマニュアルを見つけることがで
きます。

上記のように高速である、リンクを辿るだけで絞り込んでいけると
いう機能が優位性、セールスポイントになります。

○○ 2)新規性、革新性について、具体的に記載してください。

上記の優位性、セールスポイントは先進的なECサイトや情報提供サ
イトではすでに導入されています。（例えば、amazon.co.jpやぐる
なびなどでも導入されています。）このような機能は今後の検索シ
ステムでは標準的な機能になっていくと考えています。

るりまサーチはそのような先進的な検索機能をRubyで実現できるこ
とを示した、実際に動くオープンソースソフトウェアであることに
新規性があります。先進的なECサイトなどの実装がオープンソース
ソフトウェアとして公開されることはないため、同様の機能を実現
するためには1から自分で調べる必要があります。しかし、るりま
サーチはオープンソースソフトウェアとして公開されているため、
どのように機能を実現しているかを参考にしたり、改変して利用す
ることなどができます。

○○ 3)社会的効果、インパクトについて、具体的に記載してください。

上述の内容と重複しますが、以下の2点が社会的効果となります。

  * Rubyのドキュメント環境が改善されることによりRubyの普及に
    つながる。
  * オープンソースソフトウェアとして公開されているため、同様
    の検索機能を実装する場合に有用である。

○ 5.ソフトウェア、取組等の実績について

○○ （具体的な実績、市場等からの評価があれば記載してください。）

Rubyのリファレンスマニュアルの公式検索サービスに採用されまし
た。（現在はメンテナンス中のようです。）

  http://doc.ruby-lang.org/ja/search/

るりまサーチをもっと便利に利用するためのソフトウェアを開発し
てくれた方がいました。

  http://codnote.net/2010/09/20/rurema-instant/
  https://github.com/sorah/rurema_instant

○ 6.今後の展開について

○○ （今後の目標や事業展開について記載してください。）

るりまサーチはRubyのリファレンスマニュアルを便利に検索する機
能を提供するという目的の他に、バックエンドで利用している全文
検索エンジンgroonga(*)のデモという目的もあります。

(*) groonga: http://gronoga.org/

クリアコードではgroongaを利用した検索システムの開発・開発支援
も行っています。groongaを利用した場合にどのような検索システム
を作ることができるか、ということを実際に動くるりまサーチとい
うアプリケーションでデモできます。

るりまサーチ自体はこれまで通り、groongaの機能を活かした使い
やすい機能を追加していきます。るりまサーチはデモとして使い、
新しい開発案件などにつなげていきます。るりまサーチ自体は今後
もオープンソースソフトウェアのままです。

○ 7.添付資料について（添付資料は返却しません。）

○○ （概要説明図やこれまでの発表資料、新聞・雑誌の記事等）

るりまサーチ: Rubyでgroonga使ってリファレンスマニュアルを全
文検索 - ククログ(2010-04-27):
  http://www.clear-code.com/blog/2010/4/27.html

日本Ruby会議2010発表資料: るりまサーチの作り方 - Ruby 1.9で
groonga使って全文検索 - ククログ(2010-09-01):
  http://www.clear-code.com/blog/2010/9/1.html

○ 8.ソフトウェアの動作環境について（ソフトウェアのみ）

○○ （OS、ソフトウェア、ハードウェア構成等について記載してください。）

OS: Linux 64bit
    （rurema.clear-code.comではDebian GNU/Linux lenny 64bitを利用）
ソフトウェア:
  * Ruby 1.9.x
  * groonga
  * Rack
  * rroonga
  * racknga
ハードウェア構成:
  * CPU: 64bit対応のもの
  * メモリ: 512MB以上
----
1
2
3
4
5
6
7
8
9
10
11
12
13

// nsIFileでnsreg.datを渡すと仮定
function readBinaryFrom(aFile) {
  var fileStream = Cc['@mozilla.org/network/file-input-stream;1']
                     .createInstance(Ci.nsIFileInputStream);
  fileStream.init(aFile, 1, 0, false);
  var binaryStream = Cc['@mozilla.org/binaryinputstream;1']
                       .createInstance(Ci.nsIBinaryInputStream);
  binaryStream.setInputStream(fileStream);
  var bytes = binaryStream.readByteArray(fileStream.available());
  binaryStream.close();
  fileStream.close();
  return bytes;
}

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29

// バイト列→数値
function bytesToNumber(aBytes) {
  var converted = 0;
  aBytes.forEach(function(aValue, aIndex) {
    // リトルエンディアンの符号無し整数なので、
    // 単純に8桁ずつビットシフトした結果を合計すれば
    // 表現されている数値を得られる。
    converted += (aValue << (aIndex * 8));
  });
  return converted;
}

// バイト列→文字列
function bytesToString(aBytes) {
  var converted = '';
  aBytes.some(function(aValue, aIndex) {
    if (!aValue)
      return true;
    // 数値の配列から、1文字が1バイトの値を表す
    // UTF-8バイト列としての文字列に一旦変換する。
    converted += String.fromCharCode(aValue);
    return false;
  });
  return UTF8toUCS2(converted);
}

function UTF8toUCS2(aUTF8Octets) {
  return decodeURIComponent(escape(aUTF8Octets));
}

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134

function Description(aBytes, aOffset) {
  // 他のノードを探すためにはnsreg.dat全体のバイト列を
  // 保持しておかないといけない。
  this.allBytes = aBytes;
  this.bytes = aBytes.slice(aOffset, aOffset + this.DESCRIPTION_SIZE);

  this.location = bytesToNumber(this.bytes.slice(0, 3));
  if (this.location != aOffset)
    throw new Error('invalid description at '+aOffset);

  this.type = bytesToNumber(this.bytes.slice(10, 11));

  var nameOffset = bytesToNumber(this.bytes.slice(4, 7));
  var nameLength = bytesToNumber(this.bytes.slice(8, 9));
  this.name = bytesToString(this.allBytes.slice(nameOffset,
                                                nameOffset + nameLength));

  // 他のノードはlazy getterでその都度インスタンス化するため、
  // ここでは位置の情報だけを保持しておく。
  this._left   = bytesToNumber(this.bytes.slice(12, 15));
  this._down   = bytesToNumber(this.bytes.slice(16, 19));
  this._parent = bytesToNumber(this.bytes.slice(28, 31));

  // valueは他のノードを指している事があるので、これも
  // 位置と長さの情報だけを保持しておく。
  this._valueOffset = bytesToNumber(this.bytes.slice(20, 23));
  this._valueLength = bytesToNumber(this.bytes.slice(24, 27));
}
Description.prototype = {
  DESCRIPTION_SIZE : 32,
  // typeフィールドにおける、削除済のレジストリエントリかどうかを
  // 示すフラグ。
  TYPE_DELETED     : 0x80,

  get deleted() {
    return !!(this.type & this.TYPE_DELETED);
  },

  // valueはノードかもしれないし文字列かもしれないので、
  // 両方の可能性を考慮する。
  get value() {
    return this.nodeValue || this.stringValue;
  },
  get stringValue() {
    if (typeof this._stringValue == 'undefined')
      this._stringValue = bytesToString(
        this.allBytes.slice(this._valueOffset,
                            this._valueOffset + this._valueLength));
    return this._stringValue;
  },
  get nodeValue() {
    if (typeof this._nodeValue == 'undefined') {
      try {
        this._nodeValue = new Description(this.allBytes,
                                          this._valueOffset);
      }
      catch(e) {
        this._nodeValue = null;
      }
    }
    return this._nodeValue;
  },

  // left、down、parentに対応するlazy getter。
  // left/downではなくnext/firstChildなのは、その方が
  // オブジェクト的な表現での実態に即しているから。
  get nextDescription() {
    if (this._left && !this._nextDescription)
      this._nextDescription = new Description(this.allBytes, this._left);
    return this._nextDescription;
  },
  get firstChildDescription() {
    if (this._down && !this._firstChildDescription)
      this._firstChildDescription = new Description(this.allBytes, this._down);
    return this._firstChildDescription;
  },
  get parentDescription() {
    if (this._parent && !this._parentDescription)
      this._parentDescription = new Description(this.allBytes, this._parent);
    return this._parentDescription;
  },

  // deletedなdescriptionは実質的には無い物として扱うバージョン。
  // （実際にdeletedなdescriptionが参照されたままになっている事が
  // あるのかどうかはまだ分からないが、念のため。）
  get next() {
    return this.nextDescription && !this.nextDescription.deleted ?
             this.nextDescription : null ;
  },
  get firstChild() {
    return this.firstChildDescription && !this.firstChildDescription.deleted ?
             this.firstChildDescription : null ;
  },
  get parent() {
    return this.parentDescription && !this.parentDescription.deleted ?
             this.parentDescription : null ;
  },

  // deletedでない子ノードを収集する。
  // （実際にdeletedなdescriptionが参照されたままになっている事が
  // あるのかどうかはまだ分からないが、念のため。）
  get children() {
    if (!this._children) {
      this._children = [];
      let child = this.firstChildDescription;
      let found = {}; // 無限ループに陥ってしまわないよう、念のため。
      while (child) {
        if (!child.deleted && !found.hasOwnProperty(child.location))) {
          this._children.push(child);
          found[child.location] = child;
        }
        child = child.nextDescription;
      }
    }
    return this._children;
  },

  // 子ノードが名前を持っている場合に
  // それを簡単に取得するためのユーティリティ。
  getNamedChild : function(aName) {
    var found = null;
    this.children.some(function(aChild) {
      if (aChild.name == aName)
        found = aChild;
      return found;
    }, this);
    return found;
  },
  getNamedChildren : function(aName) {
    return this.children.filter(function(aChild) {
        return aChild.name == aName;
      });
  }
};

1
2
3
4
5
6
7

function getRootDescription(aBytes) {
  const ROOT_LOCATION        = 0xC;
  const ROOT_LOCATION_LENGTH = 4;
  var root = aBytes.slice(ROOT_LOCATION,
                          ROOT_LOCATION + ROOT_LOCATION_LENGTH - 1);
  return new Description(aBytes, bytesToNumber(root));
}

1
2
3
4
5
6
7
8
9
10
11
12
13
14

function getProfilesFromBinary(aBytes) {
  var root = getRootDescription(aBytes);
  var users = root.getNamedChild('Users').children;
  var profiles = users.map(function(aUserNode) {
      return {
        name : aUserNode.name,
        path : aUserNode.nodeValue.stringValue
      };
    });
  profiles.sort(function(aA, aB) {
    return aA.name > aB.name;
  });
  return profiles;
}

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

function getProfiles() {
  try {
    const DirectoryService = Cc['@mozilla.org/file/directory_service;1']
                               .getService(Ci.nsIProperties);
    let file = DirectoryService.get('WinD', Ci.nsIFile);
    file.append('nsreg.dat');
    if (file.exists()) {
      let bytes = readBinaryFrom(file);
      return getProfilesFromBinary(bytes);
    }
  }
  catch(e) {
  }
  return [];
}

試すこと	メモリリークした場合	メモリリークしなかった場合
何もせずにすぐに`return`	`rb_fork_err()`の前に原因あり。（今回はこのケースはないはず。）	`before_fork()`か`fork()`か`after_fork()`に原因あり。
`before_fork()`の後にすぐに`return`	`before_fork()`の中に原因あり。	`fork()`か`after_fork()`に原因あり。
`fork()`の後にすぐに`return`	`fork()`の中に原因あり。（`fork()`はOSが提供しているので、今回はこのケースはないはず。）	`after_fork()`に原因あり。

試すこと	メモリリークしたか
何もせずにすぐに`return`	しない
`before_fork()`の後にすぐに`return`	しない
`fork()`の後にすぐに`return`	しない

ククログ

全文検索エンジンgroongaを囲む夕べ 2: 「groonga村」と「mroongaのベンチマーク」用資料

groonga開発チームの期待

参加者の期待

groonga関連ソフトウェアの位置づけ

コア機能

DB API

rroonga

mroonga

クエリAPI

groongaコマンド

nroonga

textsearch_groonga

まとめ

おまけ: 参加状況について

この記事の続き

関連記事

デバッグ力: よく知らないプログラムの直し方

基本的な流れ

問題を再現する小さなプログラムの作成

問題のソフトウェアを変更して原因となっている箇所を特定

問題の修正

まとめ

この記事の続き

関連記事

Ruby関連のコンテストっぽいものへの応募例

Rubyアソシエーションの2011年度助成金への応募内容

第３回フクオカRuby大賞への応募内容

まとめ

関連記事

Netscape Communicator 4.5以降のプロファイル情報の解析

NC4.5のユーザプロファイルの困った事情

nsreg.datの内容を読み解くヒントを探す

nsreg.datのレジストリエントリ

DOM的にnsreg.datの内容を見るための実装

nsreg.datの全容

残りの実装

まとめ

関連記事

2011年まとめ

1月

2月

3月

4月

5月

6月

7月

8月

9月

10月

11月

12月

まとめ

この記事の続き

関連記事