 WHAT'S THIS? HEADLINESLICENSEPROJECT ARCHIVE- RSS/1- WHAT'S NEW- FEATURES- RESOURCE- DOWNLOAD+ JESSIE + HttpVirtualUsers+ NSXBASIC+ genius_othelloCONTACT US　 ・RSS/1 - 検索キーワードおよび来訪履歴による自動カテゴリ化機能つきサーチエンジン　第4工程 追加3: 全文検索システムの試作第3回fts 1.2を開発しましたので，公開いたします．　全文検索システム fts 1.2以前から開発している試作全文検索エンジン，ftsの1.2が完成しましたので，公開いたします．fts 1.2は，次の改善がなされています：文書の一部を要約として出力する． 検索結果は1文書1個所として出力する．同じ文書内の複数の個所に，検索語があったとしても，うち1個所のみを出力する． 　インストールなどソースコードを下記のリンクから取得して，fts 1.0と同じ要領でインストールしてください．2004-01-02 fts-1.2.lzh (lh5形式)　主要サーチエンジンのサマリー作成について今回のパージョンアップでは，サマリー出力を主題としています．従って，作業に入る前に，主要サーチエンジンのサマリーについて調査をしました．この調査結果は個人的に収集したものですので，間違っている可能性があります．自己責任で参考にしてください．google.comサマリーは，品詞を意識して切り出される．品詞の途中からサマリーが始まったり，あるいは品詞の途中でサマリーが切れたりすることはない．切り出されたサマリーに含まれる，リンク的なものはカットされる(→ 特定字数以上連続した「文」でない場合は省略される?)．切り出されるサマリーの長さは一定ではないが，100文字～200文字の間ぐらいになる．表示上は，3行程度になっている．1行の字数は一定でない．見出しは<title>タグである．見出しも検索対象となる．ただし，<title>タグがない場合，ページの一番最初に発生した文字列を見出しとしている検索語が最も多く発生する部分を切り出しているように見えるYAHOO! JAPAN【googleと同じ】goo.ne.jp【googleと同じ】infoseek.co.jp【googleと同じ】excite JAPAN【googleと同じ】inktomi.com【日本語に対応せず】altavista.com・見出しは<title>タグである．ただし，<title>タグがない場合，URLを見出しとする．・サマリーは，80文字ぐらいで切り出される．・検索語の前後のサマリーを切り出しているが，検索語が同じページ内に複数存在した場合，「...」で間を省略しながら繋いでいる．出現する検索語を全て表示しているのではなく(字数制限的に不可能な場合があるだろう)，検索語のヒット数が多い場合，なるべく多種を表示するようにしているようだ．msn.co.jp・指定された検索語を含むページの先頭から90文字前後でサマリーが切り出される．品詞などは意識されていない．・切り出されたサマリー内に，検索語が含まれない場合がある．先頭から盲目的に切り出しているためである．・見出しは<title>タグである．<title>タグが指定されていない場合，URLが見出しとなる．　見てわかると思いますが，国内のサーチエンジンはgoogleを利用しています．そんなところだと思っていましたが，情けない．海外のものについては，自社でやっているものも多いのですが，どれもgoogleにはかないません．というか，googleが非常にまともで，その他はちょっとどうかという感じを受けました．ひとまず，altavistaよりちょっとレベルの低い感じのものを目指します．　プログラムの話サマリーを抽出するために，またしてもソースコードを変更しました．要約作成に必要なデータ構造は，位置情報[文書No.] = { 位置情報1, 位置情報2, ... }です．検索語が出現する位置を，文書No.ごとに整理したデータがあれば，かなりラクになります．また，位置情報はそれぞれ小さい順にソートして並べます．この処理は，SearchCore.javaのgetSummary()の先頭で行なっています．ソートの処理はSearchCore.javaの123行目です．文書中のどの部分をサマリーとするかについてですが，検索語が最も集中している個所を切り出してサマリーとしています．サマリーは検索結果として，そのまま使用しています．この処理をするために，上記のデータ構造変更を行なっています．サンプルでは，100文字で切り出すようにしています．　次のフェーズの予定いくつかしなければならないことがあります．・1文字の文字列が検索できない末尾処理をしているので，それだけは検索できるが，それ以外の文字については検索してもヒットしない．これは，索引語が2-gramであるからです．この問題に対応するには，索引語を1-gramにする必要があるのですが，それは本末転倒化(?)します．このあたり，他の全文検索エンジンではどうしているのか，調べる必要があります．・インデックス生成速度の改善インデックス作成処理の並列化/逐次化が必要です．逐次化とは，インデックス作成中にも検索などができるようにする，という意味です．ストレージライブラリをjdbmから別のものに変更します．これは，v1.3で改善することはできません．ストレージのシステムについては，今のところ自分で開発しようと考えています．汎用のものですと，今ひとつこれというものがないためです．あと，自分で開発してみたい，というのもあります．・検索アルゴリズムの検証と速度改善ftsは試作版のため，ソースもめちゃめちゃですし，アルゴリズムも単なる思い付きです．ftsの利点・問題点について検証し，効果測定方法を確立し，改善する必要があります．　第4工程: インデックス作成エージェントの開発　| 最新情報 | 特徴 | システム概要 | ダウンロード | お問い合わせ |　 COPYRIGHT 2001,2002,2003,2004 - LOGICAL-PARADOX.ORG