ククログ

2016-12-02 · ©2008-2020 株式会社クリアコード

Redirect permanent / https://milter-manager.osdn.jp/

% sudo -H yum install -y http://packages.groonga.org/centos/groonga-release-1.2.0-1.noarch.rpm
% sudo -H yum install -y groonga-httpd
% sudo -H systemctl start groonga-httpd

% sudo -H yum install -y git
% git clone https://github.com/sstephenson/rbenv.git ~/.rbenv
% git clone https://github.com/sstephenson/ruby-build.git ~/.rbenv/plugins/ruby-build
% echo 'export PATH="$HOME/.rbenv/bin:$PATH"' >> ~/.bash_profile
% echo 'eval "$(rbenv init -)"' >> ~/.bash_profile
% exec ${SHELL} --login
% sudo -H yum install -y gcc make patch openssl-devel readline-devel zlib-devel
% rbenv install 2.3.3
% rbenv global 2.3.3

% sudo -H yum install -y sqlite-devel nodejs
% gem install rails

% rails new document_search
% cd document_search

% bin/rails db:create

% bin/rails generate scaffold document title:text content:text
% bin/rails db:migrate

gem 'groonga-client-rails'

% bundle install

% mkdir -p app/searchers

class ApplicationSearcher < Groonga::Client::Searcher
end

class DocumentsSearcher < ApplicationSearcher
  # Documentモデルのtitleカラムを全文検索するためのインデックスを作成
  schema.column :title, {
    type: "ShortText",
    index: true,
    index_type: :full_text_search,
  }
  # Documentモデルのcontentカラムを全文検索するためのインデックスを作成
  schema.column :content, {
    type: "Text",
    index: true,
    index_type: :full_text_search,
  }
end

class Document < ApplicationRecord
  # DocumentモデルをDocumentsSearcherの検索対象とする
  source = DocumentsSearcher.source(self)
  # Documentのtitleカラムと
  # DocumentsSearcherのtitleインデックスを対応付ける
  source.title = :title
  # Documentのcontentカラムと
  # DocumentsSearcherのcontentインデックスを対応付ける
  source.content = :content
end

% bin/rails groonga:sync

require "open-uri"
require "json"

namespace :data do
  namespace :load do
    desc "Load data from Qiita"
    task :qiita => :environment do
      tag = "groonga"
      url = "https://qiita.com/api/v2/items?page=1&per_page=100&query=tag:#{tag}"
      open(url) do |entries_json|
        entries = JSON.parse(entries_json.read)
        entries.each do |entry|
          Document.create(title:   entry["title"],
                          content: entry["body"])
        end
      end
    end
  end
end

% bin/rails data:load:qiita

 
 <h1>Documents</h1>
 
+<p><%= @result_set.n_hits %> records</p>
+
+<%= form_tag(documents_path, method: "get") do %>
+  <%= search_field_tag "query", @query %>
+  <%= submit_tag "Search" %>
+<% end %>
+
 <table>
   <thead>
     <tr>
@@ -12,7 +19,8 @@
   </thead>
 
   <tbody>
-    <% @documents.each do |document| %>
+    <% @result_set.records.each do |record| %>
+      <% document = record.source %>
       <tr>
         <td><%= document.title %></td>
         <td><%= document.content %></td>


@@ -4,7 +4,11 @@ class DocumentsController < ApplicationController
   # GET /documents
   # GET /documents.json
   def index
-    @documents = Document.all
+    @query = params[:query]
+    searcher = DocumentsSearcher.new
+    @result_set = searcher.search.
+      query(@query).
+      result_set
   end
 
   # GET /documents/1

% bin/rails generate scaffold tags name:string

% bin/rails generate model tagging document:references tag:references

% bin/rails db:migrate

@@ -1,4 +1,7 @@
 class Document < ApplicationRecord
+  has_many :taggings
+  has_many :tags, through: :taggings
+
   source = DocumentsSearcher.source(self)
   source.title = :title
   source.content = :content

@@ -1,2 +1,4 @@
 class Tag < ApplicationRecord
+  has_many :taggings
+  has_many :documents, through: :taggings
 end

@@ -10,8 +10,12 @@ namespace :data do
       open(url) do |entries_json|
         entries = JSON.parse(entries_json.read)
         entries.each do |entry|
+          tags = entry["tags"].collect do |tag|
+            Tag.find_or_create_by(name: tag["name"])
+          end
           Document.create(title:   entry["title"],
-                          content: entry["body"])
+                          content: entry["body"],
+                          tags:    tags)
         end
       end
     end

% bin/rails runner Document.destroy_all
% bin/rails data:load:qiita

@@ -14,6 +14,7 @@
     <tr>
       <th>Title</th>
       <th>Content</th>
+      <th>Tags</th>
       <th colspan="3"></th>
     </tr>
   </thead>
@@ -24,6 +25,13 @@
       <tr>
         <td><%= document.title %></td>
         <td><%= document.content %></td>
+        <td>
+          <ul>
+          <% document.tags.each do |tag| %>
+            <li><%= tag.name %></li>
+          <% end %>
+          </ul>
+        </td>
         <td><%= link_to 'Show', document %></td>
         <td><%= link_to 'Edit', edit_document_path(document) %></td>
         <td><%= link_to 'Destroy', document, method: :delete, data: { confirm: 'Are you sure?' } %></td>

@@ -9,4 +9,11 @@ class DocumentsSearcher < ApplicationSearcher
     index: true,
     index_type: :full_text_search,
   }
+  schema.column :tags, {
+    type: "ShortText",
+    reference: true,   # 文字列でドリルダウンをするときは指定すると高速になる
+    normalizer: false, # タグそのもので検索する
+    vector: true,      # 値が複数あるときは指定する
+    index: true,
+  }
 end

@@ -5,4 +5,7 @@ class Document < ApplicationRecord
   source = DocumentsSearcher.source(self)
   source.title = :title
   source.content = :content
+  source.tags = ->(model) do
+    model.tags.collect(&:name) # タグモデルではなくタグ名をGroongaに渡す
+  end
 end

% bin/rails groonga:sync

@@ -5,9 +5,16 @@ class DocumentsController < ApplicationController
   # GET /documents.json
   def index
     @query = params[:query]
+    @tag = params[:tag]
+
     searcher = DocumentsSearcher.new
-    @result_set = searcher.search.
-      query(@query).
+    request = searcher.search.query(@query)
+    if @tag.present?
+      request = request.filter("tags @ %{tag}", tag: @tag)
+    end
+    @result_set = request.
+      drilldowns("tag").keys("tags").
+      drilldowns("tag").sort_keys("-_nsubrecs").
       result_set
   end
 

@@ -5,10 +5,21 @@
 <p><%= @result_set.n_hits %> records</p>
 
 <%= form_tag(documents_path, method: "get") do %>
+  <%= hidden_field_tag "tag", @tag %>
   <%= search_field_tag "query", @query %>
   <%= submit_tag "Search" %>
 <% end %>
 
+<nav>
+  <% @result_set.drilldowns["tag"].records.each do |record| %>
+  <%= link_to_unless @tag == record._key,
+                     "#{record._key} (#{record._nsubrecs})",
+                     url_for(query: @query, tag: record._key) %>
+  <% end %>
+  <%= link_to "タグ絞り込み解除",
+              url_for(query: @query) %>
+</nav>
+
 <table>
   <thead>
     <tr>
@@ -27,8 +38,10 @@
         <td><%= document.content %></td>
         <td>
           <ul>
-          <% document.tags.each do |tag| %>
-            <li><%= tag.name %></li>
+          <% record.tags.each do |tag| %>
+            <li><%= link_to_unless @tag == tag,
+                                   tag,
+                                   url_for(query: @query, tag: tag) %></li>
           <% end %>
           </ul>
         </td>

@@ -13,6 +13,12 @@ class DocumentsController < ApplicationController
       request = request.filter("tags @ %{tag}", tag: @tag)
     end
     @result_set = request.
+      output_columns([
+                       "_key",
+                       "*",
+                       "highlight_html(title)",
+                       "snippet_html(content)",
+                     ]).
       drilldowns("tag").keys("tags").
       drilldowns("tag").sort_keys("-_nsubrecs").
       result_set

@@ -34,8 +34,16 @@
     <% @result_set.records.each do |record| %>
       <% document = record.source %>
       <tr>
-        <td><%= document.title %></td>
-        <td><%= document.content %></td>
+        <td><%= record.highlight_html.html_safe %></td>
+        <td>
+          <% if record.snippet_html.present? %>
+            <% record.snippet_html.each do |chunk| %>
+              <div>...<%= chunk.html_safe %>...</div>
+            <% end %>
+          <% else %>
+            <%= document.content %>
+          <% end %>
+        </td>
         <td>
           <ul>
           <% record.tags.each do |tag| %>

@@ -1,3 +1,7 @@
 // Place all the styles related to the documents controller here.
 // They will automatically be included in application.css.
 // You can use Sass (SCSS) here: http://sass-lang.com/
+
+.keyword {
+  color: red;
+}

@@ -8,7 +8,12 @@ class DocumentsController < ApplicationController
     @tag = params[:tag]
 
     searcher = DocumentsSearcher.new
-    request = searcher.search.query(@query)
+    request = searcher.search
+    if @query.present?
+      request = request.
+        query(@query).
+        sort_keys("-_score")
+    end
     if @tag.present?
       request = request.filter("tags @ %{tag}", tag: @tag)
     end

@@ -53,3 +53,4 @@ end
 gem 'tzinfo-data', platforms: [:mingw, :mswin, :x64_mingw, :jruby]
 
 gem 'groonga-client-rails'
+gem 'kaminari'

@@ -26,6 +26,7 @@ class DocumentsController < ApplicationController
                      ]).
       drilldowns("tag").keys("tags").
       drilldowns("tag").sort_keys("-_nsubrecs").
+      paginate(params[:page]).
       result_set
   end
 

@@ -2,7 +2,7 @@
 
 <h1>Documents</h1>
 
-<p><%= @result_set.n_hits %> records</p>
+<p><%= page_entries_info(@result_set, entry_name: "documents") %></p>
 
 <%= form_tag(documents_path, method: "get") do %>
   <%= hidden_field_tag "tag", @tag %>
@@ -63,4 +63,6 @@
 
 <br>
 
+<%= paginate(@result_set) %>
+
 <%= link_to 'New Document', new_document_path %>

% bundle install

% sudo apt install -V cmake mingw-w64 wine

% wget http://packages.groonga.org/source/groonga/groonga-6.1.1.tar.gz
% tar xvf groonga-6.1.1.tar.gz
% cd groonga-6.1.1

% PKG_CONFIG_LIBDIR=/tmp/local.windows/lib/pkgconfig \
    cmake \
      -DCMAKE_INSTALL_PREFIX=/tmp/local.windows \
      -DCMAKE_SYSTEM_NAME=Windows \
      -DCMAKE_SYSTEM_PROCESSOR=x64 \
      -DCMAKE_C_COMPILER=x86_64-w64-mingw32-gcc \
      -DCMAKE_CXX_COMPILER=x86_64-w64-mingw32-g++ \
      -DCMAKE_RC_COMPILER=x86_64-w64-mingw32-windres

% make

% make install

% cd /tmp/local.windows/bin
% cp $(x86_64-w64-mingw32-g++ -print-file-name=libstdc++-6.dll) ./
% cp $(x86_64-w64-mingw32-g++ -print-file-name=libgcc_s_seh-1.dll) ./

% wine groonga.exe --version
Groonga 6.1.1 [Windows,x64,utf8,match-escalation-threshold=0,nfkc,onigmo]

configure options: <>

% make package

/* -*- mode: js; js-indent-level: 4; indent-tabs-mode: nil -*- */

// DO NOT EDIT THIS FILE, it will be overwritten on update
//
// Default rules for polkit
//
// See the polkit(8) man page for more information
// about configuring polkit.

polkit.addAdminRule(function(action, subject) {
    return ["unix-group:wheel"];
});

polkit.Result = {
    NO              : "no",              // 無条件で拒否、アクションは実行されません。
    YES             : "yes",             // 無条件で認証、アクションを実行します。
    AUTH_SELF       : "auth_self",       // 認証が必要だが管理者ユーザーの必要なし。
    AUTH_SELF_KEEP  : "auth_self_keep",  // 認証が必要だが管理者ユーザーの必要なし。一定期間後無効。
    AUTH_ADMIN      : "auth_admin",      // 認証が必要で管理者ユーザーの必要あり。
    AUTH_ADMIN_KEEP : "auth_admin_keep", // 認証が必要で管理者ユーザーの必要あり。一定期間後無効。
    NOT_HANDLED     : null               // このルールでは何もしない
};

polkit.addAdminRule(function(action, subject) {
    return ["unix-group:wheel"];
});

polkit.addRule(function(action, subject) {
    if ((action.id == "org.freedesktop.login1.power-off"
      || action.id == "org.freedesktop.login1.power-off-multiple-sessions"
      || action.id == "org.freedesktop.login1.power-off-ignore-inhibit"
      || action.id == "org.freedesktop.login1.reboot"
      || action.id == "org.freedesktop.login1.reboot-multiple-sessions"
      || action.id == "org.freedesktop.login1.reboot-ignore-inhibit"
      || action.id == "org.freedesktop.login1.suspend"
      || action.id == "org.freedesktop.login1.suspend-multiple-sessions"
      || action.id == "org.freedesktop.login1.suspend-ignore-inhibit"
      || action.id == "org.freedesktop.login1.hibernate"
      || action.id == "org.freedesktop.login1.hibernate-multiple-sessions"
      || action.id == "org.freedesktop.login1.hibernate-ignore-inhibit")
      && subject.isInGroup("wheel")) {
        return polkit.Result.YES;
    }
    else {
        return polkit.Result.NO;
    }
});

$ sudo systemctl stop polkit
$ sudo systemctl start polkit

Dec 26 16:37:50 localhost systemd: Stopped Authorization Manager.
Dec 26 16:37:50 localhost systemd: Starting Authorization Manager...
Dec 26 16:37:50 localhost polkitd[4129]: Started polkitd version 0.112
Dec 26 16:37:50 localhost dbus[686]: [system] Successfully activated service 'org.freedesktop.PolicyKit1'
Dec 26 16:37:50 localhost dbus-daemon: dbus[686]: [system] Successfully activated service 'org.freedesktop.PolicyKit1'
Dec 26 16:37:50 localhost systemd: Started Authorization Manager.
Dec 26 16:37:51 localhost gnome-session: PolicyKit daemon reconnected to bus.


機能	移行可否	備考
メーリングリスト		英語のメーリングリストを作るときは、管理画面から言語設定を変更する。データの移行はできない。
フォーラム		データの移行はできない。ほとんど使用されていなかった
Webサイトホスティング		rsyncが使えるのでそのままのディレクトリ構造で丸ごと移行できる。SourceForge.net側に.htaccessでリダイレクト設定ができる。
ファイルリリース		自動化もできた
ニュース		なし
apt/yumリポジトリ		OSDNにはapt/yumをホストできる機能がないのでpackagecloudに移行することにした

ククログ

新装版達人プログラマー

内容

まとめ

関連記事

SourceForge.netからOSDNへ移行する方法

SourceForge.net で使用していた機能

packagecloudについて

具体的にやったこと

まとめ

関連記事

PGConf.ASIA 2016：PGroonga – PostgreSQLを全言語対応高速全文検索プラットフォームに！ #pgconfasia

内容

まとめ

この記事の続き

関連記事

Ruby on RailsでMySQL・PostgreSQL・SQLite3とGroongaを使って日本語全文検索を実現する方法

Groongaのインストール

Rubyのインストール

Ruby on Railsのインストール

ドキュメント検索システムの開発

全文検索エンジンならではの機能を利用

ドリルダウン

キーワードハイライト

スコアでソート

ページネーション

まとめ

この記事の続き

関連記事

Debian GNU/LinuxでCMakeを使ってWindows用バイナリーをビルドする方法

用意するもの

ビルド

まとめ

関連記事

PolicyKitを用いて適切に権限管理するには

はじめに

PolicyKitを持ちいる権限管理の初歩

権限管理の実例

まとめ

関連記事

ククログ

新装版 達人プログラマー

内容

まとめ

関連記事

SourceForge.netからOSDNへ移行する方法

SourceForge.net で使用していた機能

packagecloudについて

具体的にやったこと

まとめ

関連記事

PGConf.ASIA 2016：PGroonga – PostgreSQLを全言語対応高速全文検索プラットフォームに！ #pgconfasia

内容

まとめ

この記事の続き

関連記事

Ruby on RailsでMySQL・PostgreSQL・SQLite3とGroongaを使って日本語全文検索を実現する方法

Groongaのインストール

Rubyのインストール

Ruby on Railsのインストール

ドキュメント検索システムの開発

全文検索エンジンならではの機能を利用

ドリルダウン

キーワードハイライト

スコアでソート

ページネーション

まとめ

この記事の続き

関連記事

Debian GNU/LinuxでCMakeを使ってWindows用バイナリーをビルドする方法

用意するもの

ビルド

まとめ

関連記事

PolicyKitを用いて適切に権限管理するには

はじめに

PolicyKitを持ちいる権限管理の初歩

権限管理の実例

まとめ

関連記事

新装版達人プログラマー