LOGO OA教程 ERP教程 模切知识交流 PMS教程 CRM教程 开发文档 其他文档  
 
网站管理员

PHP编写的全功能全文搜索引擎

admin
2025年4月3日 0:15 本文热度 80

概述

TNTSearch是一款完全用PHP编写的全文搜索(FTS)引擎。只需简单配置,你就能在几分钟内添加出色的搜索体验。

功能包括

  • 模糊搜索
  • 即时搜索
  • 地理搜索
  • 文本分类
  • 词干提取
  • 自定义分词器
  • BM25排名算法
  • 布尔搜索
  • 结果高亮显示
  • 动态索引更新(无需每次都重新索引)
  • 可通过Packagist.org轻松部署

我们还创建了一些演示页面,展示了n - gram在容错检索中的实际应用。该软件包有许多辅助函数,如用于距离计算的Jaro - Winkler和余弦相似度函数。它支持英语、克罗地亚语、阿拉伯语、意大利语、俄语、葡萄牙语和乌克兰语的词干提取。如果内置的词干提取器不够用,该引擎允许你轻松插入任何兼容的Snowball词干提取器。该软件包的一些分支甚至支持中文。欢迎大家贡献对其他语言的支持!

与许多其他引擎不同,TNTSearch的索引可以轻松更新,无需重新索引或使用增量更新。DigitalOcean

安装

安装TNTSearch最简单的方法是通过composer:

composer require teamtnt/tntsearch

要求

在继续之前,请确保你的服务器满足以下要求:

  • PHP >= 7.1
  • PDO PHP扩展
  • SQLite PHP扩展
  • mbstring PHP扩展

示例

创建索引

为了能够进行全文搜索查询,你必须创建一个索引。 用法:

use TeamTNT\TNTSearch\TNTSearch;

$tnt = new TNTSearch;

$tnt->loadConfig([
    'driver'    => 'mysql',
    'host'      => 'localhost',
    'database'  => 'dbname',
    'username'  => 'user',
    'password'  => 'pass',
    'storage'   => '/var/www/tntsearch/examples/',
    'stemmer'   => \TeamTNT\TNTSearch\Stemmer\PorterStemmer::class//可选
]);

$indexer = $tnt->createIndex('name.index');
$indexer->query('SELECT id, article FROM articles;');
//$indexer->setLanguage('german'); $indexer->run();

重要提示:“storage”设置标记了所有索引将保存的文件夹,因此请确保对该文件夹有写入权限,否则可能会抛出以下异常:[PDOException] SQLSTATE[HY000] [14] unable to open database file *

注意:如果你的主键不是id,请按如下方式设置:

$indexer->setPrimaryKey('article_id');

使主键可搜索

默认情况下,主键是不可搜索的。如果你想让主键可搜索,只需运行:

$indexer->includePrimaryKey();

搜索

搜索短语或关键词非常简单:

use TeamTNT\TNTSearch\TNTSearch;

$tnt = new TNTSearch;

$tnt->loadConfig($config);
$tnt->selectIndex("name.index");

$res = $tnt->search("This is a test search"12);

print_r($res); //返回一个包含12个与查询最匹配的文档ID的数组 
// 要显示结果,你需要针对应用程序数据库进行额外查询 
// SELECT * FROM articles WHERE id IN $res ORDER BY FIELD(id, $res);

ORDER BY FIELD子句很重要,否则数据库引擎将无法按要求的顺序返回结果。

布尔搜索

use TeamTNT\TNTSearch\TNTSearch;

$tnt = new TNTSearch;

$tnt->loadConfig($config);
$tnt->selectIndex("name.index");

// 这将返回所有包含romeo但不包含juliet的文档
$res = $tnt->searchBoolean("romeo -juliet");

// 返回所有包含romeo或hamlet的文档
$res = $tnt->searchBoolean("romeo or hamlet");

// 返回所有包含romeo AND juliet或者prince AND hamlet的文档
$res = $tnt->searchBoolean("(romeo juliet) or (prince hamlet)");

模糊搜索

可以通过设置以下成员变量来调整模糊度:

public $fuzzy_prefix_length  = 2;
public $fuzzy_max_expansions = 50;
public $fuzzy_distance       = 2//代表莱文斯坦距离;
use TeamTNT\TNTSearch\TNTSearch;

$tnt = new TNTSearch;

$tnt->loadConfig($config);
$tnt->selectIndex("name.index");
$tnt->fuzziness(true);

// 当模糊度标志设置为true时,关键词juleit将返回与单词juliet匹配的文档,默认莱文斯坦距离为2
$res = $tnt->search("juleit");

更新索引

创建索引后,每次对文档集合进行更改时,无需重新索引。TNTSearch支持动态索引更新。

use TeamTNT\TNTSearch\TNTSearch;

$tnt = new TNTSearch;

$tnt->loadConfig($config);
$tnt->selectIndex("name.index");

$index = $tnt->getIndex();

// 向索引中插入新文档
$index->insert(['id' => '11''title' => 'new title''article' => 'new article']);

// 更新现有文档
$index->update(11, ['id' => '11''title' => 'updated title''article' => 'updated article']);

// 从索引中删除文档
$index->delete(12);

自定义分词器

首先,创建你自己的分词器类。它应该扩展AbstractTokenizer类,定义单词分割的$pattern值,并且必须实现TokenizerInterface接口:

use TeamTNT\TNTSearch\Support\AbstractTokenizer;
use TeamTNT\TNTSearch\Support\TokenizerInterface;

class SomeTokenizer extends AbstractTokenizer implements TokenizerInterface
{
    static protected $pattern = '/[\s,\.]+/';

    public function tokenize($text) {
        return preg_split($this->getPattern(), strtolower($text), -1, PREG_SPLIT_NO_EMPTY);
    }
}

这个分词器将使用空格、逗号和句号来分割单词。准备好分词器后,你应该通过setTokenizer方法将其传递给TNTIndexer

$someTokenizer = new SomeTokenizer;

$indexer = new TNTIndexer;
$indexer->setTokenizer($someTokenizer);

另一种方法是通过配置传递分词器:

use TeamTNT\TNTSearch\TNTSearch;

$tnt = new TNTSearch;

$tnt->loadConfig([
    'driver'    => 'mysql',
    'host'      => 'localhost',
    'database'  => 'dbname',
    'username'  => 'user',
    'password'  => 'pass',
    'storage'   => '/var/www/tntsearch/examples/',
    'stemmer'   => \TeamTNT\TNTSearch\Stemmer\PorterStemmer::class//可选,
    'tokenizer' => \TeamTNT\TNTSearch\Support\SomeTokenizer::class
]);

$indexer = $tnt->createIndex('name.index');
$indexer->query('SELECT id, article FROM articles;');
$indexer->run();

地理搜索

索引

$candyShopIndexer = new TNTGeoIndexer;
$candyShopIndexer->loadConfig($config);
$candyShopIndexer->createIndex('candyShops.index');
$candyShopIndexer->query('SELECT id, longitude, latitude FROM candy_shops;');
$candyShopIndexer->run();

搜索

$currentLocation = [
    'longitude' => 11.576124,
    'latitude'  => 48.137154
];

$distance = 2//千米
$candyShopIndex = new TNTGeoSearch();
$candyShopIndex->loadConfig($config);
$candyShopIndex->selectIndex('candyShops.index');

$candyShops = $candyShopIndex->findNearest($currentLocation, $distance, 10);

分类

use TeamTNT\TNTSearch\Classifier\TNTClassifier;

$classifier = new TNTClassifier();
$classifier->learn("A great game""Sports");
$classifier->learn("The election was over""Not sports");
$classifier->learn("Very clean match""Sports");
$classifier->learn("A clean but forgettable game""Sports");

$guess = $classifier->predict("It was a close election");
var_dump($guess['label']); //返回 "Not sports"

保存分类器

$classifier->save('sports.cls');

加载分类器

$classifier = new TNTClassifier();
$classifier->load('sports.cls');


阅读原文:原文链接


该文章在 2025/4/3 18:32:49 编辑过
关键字查询
相关文章
正在查询...
点晴ERP是一款针对中小制造业的专业生产管理软件系统,系统成熟度和易用性得到了国内大量中小企业的青睐。
点晴PMS码头管理系统主要针对港口码头集装箱与散货日常运作、调度、堆场、车队、财务费用、相关报表等业务管理,结合码头的业务特点,围绕调度、堆场作业而开发的。集技术的先进性、管理的有效性于一体,是物流码头及其他港口类企业的高效ERP管理信息系统。
点晴WMS仓储管理系统提供了货物产品管理,销售管理,采购管理,仓储管理,仓库管理,保质期管理,货位管理,库位管理,生产管理,WMS管理系统,标签打印,条形码,二维码管理,批号管理软件。
点晴免费OA是一款软件和通用服务都免费,不限功能、不限时间、不限用户的免费OA协同办公管理系统。
Copyright 2010-2025 ClickSun All Rights Reserved