概述
TNTSearch是一款完全用PHP编写的全文搜索(FTS)引擎。只需简单配置,你就能在几分钟内添加出色的搜索体验。
功能包括
我们还创建了一些演示页面,展示了n - gram在容错检索中的实际应用。该软件包有许多辅助函数,如用于距离计算的Jaro - Winkler和余弦相似度函数。它支持英语、克罗地亚语、阿拉伯语、意大利语、俄语、葡萄牙语和乌克兰语的词干提取。如果内置的词干提取器不够用,该引擎允许你轻松插入任何兼容的Snowball词干提取器。该软件包的一些分支甚至支持中文。欢迎大家贡献对其他语言的支持!
与许多其他引擎不同,TNTSearch的索引可以轻松更新,无需重新索引或使用增量更新。DigitalOcean
安装
安装TNTSearch最简单的方法是通过composer:
composer require teamtnt/tntsearch
要求
在继续之前,请确保你的服务器满足以下要求:
示例
创建索引
为了能够进行全文搜索查询,你必须创建一个索引。 用法:
use TeamTNT\TNTSearch\TNTSearch;
$tnt = new TNTSearch;
$tnt->loadConfig([
'driver' => 'mysql',
'host' => 'localhost',
'database' => 'dbname',
'username' => 'user',
'password' => 'pass',
'storage' => '/var/www/tntsearch/examples/',
'stemmer' => \TeamTNT\TNTSearch\Stemmer\PorterStemmer::class//可选
]);
$indexer = $tnt->createIndex('name.index');
$indexer->query('SELECT id, article FROM articles;');
//$indexer->setLanguage('german'); $indexer->run();
重要提示:“storage”设置标记了所有索引将保存的文件夹,因此请确保对该文件夹有写入权限,否则可能会抛出以下异常:[PDOException] SQLSTATE[HY000] [14] unable to open database file *
注意:如果你的主键不是id
,请按如下方式设置:
$indexer->setPrimaryKey('article_id');
使主键可搜索
默认情况下,主键是不可搜索的。如果你想让主键可搜索,只需运行:
$indexer->includePrimaryKey();
搜索
搜索短语或关键词非常简单:
use TeamTNT\TNTSearch\TNTSearch;
$tnt = new TNTSearch;
$tnt->loadConfig($config);
$tnt->selectIndex("name.index");
$res = $tnt->search("This is a test search", 12);
print_r($res); //返回一个包含12个与查询最匹配的文档ID的数组
// 要显示结果,你需要针对应用程序数据库进行额外查询
// SELECT * FROM articles WHERE id IN $res ORDER BY FIELD(id, $res);
ORDER BY FIELD
子句很重要,否则数据库引擎将无法按要求的顺序返回结果。
布尔搜索
use TeamTNT\TNTSearch\TNTSearch;
$tnt = new TNTSearch;
$tnt->loadConfig($config);
$tnt->selectIndex("name.index");
// 这将返回所有包含romeo但不包含juliet的文档
$res = $tnt->searchBoolean("romeo -juliet");
// 返回所有包含romeo或hamlet的文档
$res = $tnt->searchBoolean("romeo or hamlet");
// 返回所有包含romeo AND juliet或者prince AND hamlet的文档
$res = $tnt->searchBoolean("(romeo juliet) or (prince hamlet)");
模糊搜索
可以通过设置以下成员变量来调整模糊度:
public $fuzzy_prefix_length = 2;
public $fuzzy_max_expansions = 50;
public $fuzzy_distance = 2; //代表莱文斯坦距离;
use TeamTNT\TNTSearch\TNTSearch;
$tnt = new TNTSearch;
$tnt->loadConfig($config);
$tnt->selectIndex("name.index");
$tnt->fuzziness(true);
// 当模糊度标志设置为true时,关键词juleit将返回与单词juliet匹配的文档,默认莱文斯坦距离为2
$res = $tnt->search("juleit");
更新索引
创建索引后,每次对文档集合进行更改时,无需重新索引。TNTSearch支持动态索引更新。
use TeamTNT\TNTSearch\TNTSearch;
$tnt = new TNTSearch;
$tnt->loadConfig($config);
$tnt->selectIndex("name.index");
$index = $tnt->getIndex();
// 向索引中插入新文档
$index->insert(['id' => '11', 'title' => 'new title', 'article' => 'new article']);
// 更新现有文档
$index->update(11, ['id' => '11', 'title' => 'updated title', 'article' => 'updated article']);
// 从索引中删除文档
$index->delete(12);
自定义分词器
首先,创建你自己的分词器类。它应该扩展AbstractTokenizer
类,定义单词分割的$pattern
值,并且必须实现TokenizerInterface
接口:
use TeamTNT\TNTSearch\Support\AbstractTokenizer;
use TeamTNT\TNTSearch\Support\TokenizerInterface;
class SomeTokenizer extends AbstractTokenizer implements TokenizerInterface
{
static protected $pattern = '/[\s,\.]+/';
public function tokenize($text) {
return preg_split($this->getPattern(), strtolower($text), -1, PREG_SPLIT_NO_EMPTY);
}
}
这个分词器将使用空格、逗号和句号来分割单词。准备好分词器后,你应该通过setTokenizer
方法将其传递给TNTIndexer
。
$someTokenizer = new SomeTokenizer;
$indexer = new TNTIndexer;
$indexer->setTokenizer($someTokenizer);
另一种方法是通过配置传递分词器:
use TeamTNT\TNTSearch\TNTSearch;
$tnt = new TNTSearch;
$tnt->loadConfig([
'driver' => 'mysql',
'host' => 'localhost',
'database' => 'dbname',
'username' => 'user',
'password' => 'pass',
'storage' => '/var/www/tntsearch/examples/',
'stemmer' => \TeamTNT\TNTSearch\Stemmer\PorterStemmer::class//可选,
'tokenizer' => \TeamTNT\TNTSearch\Support\SomeTokenizer::class
]);
$indexer = $tnt->createIndex('name.index');
$indexer->query('SELECT id, article FROM articles;');
$indexer->run();
地理搜索
索引
$candyShopIndexer = new TNTGeoIndexer;
$candyShopIndexer->loadConfig($config);
$candyShopIndexer->createIndex('candyShops.index');
$candyShopIndexer->query('SELECT id, longitude, latitude FROM candy_shops;');
$candyShopIndexer->run();
搜索
$currentLocation = [
'longitude' => 11.576124,
'latitude' => 48.137154
];
$distance = 2; //千米
$candyShopIndex = new TNTGeoSearch();
$candyShopIndex->loadConfig($config);
$candyShopIndex->selectIndex('candyShops.index');
$candyShops = $candyShopIndex->findNearest($currentLocation, $distance, 10);
分类
use TeamTNT\TNTSearch\Classifier\TNTClassifier;
$classifier = new TNTClassifier();
$classifier->learn("A great game", "Sports");
$classifier->learn("The election was over", "Not sports");
$classifier->learn("Very clean match", "Sports");
$classifier->learn("A clean but forgettable game", "Sports");
$guess = $classifier->predict("It was a close election");
var_dump($guess['label']); //返回 "Not sports"
保存分类器
$classifier->save('sports.cls');
加载分类器
$classifier = new TNTClassifier();
$classifier->load('sports.cls');
阅读原文:原文链接
该文章在 2025/4/3 18:32:49 编辑过