. 对用户输入的qery进行预处理、分词、纠错、扩展、意图识别、赋予权重等操作,再做为检索条件进行数据召回。 深度解析 | 房产垂直搜索引擎构建上 这个过程可能比较复杂,我们可以通过一个例子来进行简单分析。例如,用户输入qery为:“hoyng 两居的二手房、”,可以进行以下操作: . 预处理 预处理指对整个输入qery进行简单处理,将大小转换为小写、无意义符号去除、停用词去除、半角转换、过长截断、繁转简等。通过上述方法,对数据进行初步处理。
对上述做预处理后可以得
两居二手房” . 分词 分词Tokeniztion指根据一些 Office 365 数据库 规则,将一段文本切换为若干个字或词语的流程,如“永远有光芒”,可拆分为“永远/有/光芒”,这里的每一个字或词可以看作一个输入单元Token,OenI的的收费标准便是按Token为单位计费的。 常见的分词工具有。值得一提的是,大多分词工具也支持自定义词典。对于垂直搜索引擎而言,结合分词工具和自定义词典切分自然语言十分方便。 通过使用分词工具,我们可以将qery可切分为“hoyng”、“两居”、“二手房”个Token。
纠错 纠错是预处理中的重要流
程之一,通过对用户输入的qery进行修正或重写,提高 建可共享内容的自定 搜索结果的精准度。纠错一般包括以下几种方法:拼写检查、词典纠错、基于上下文纠错、机器学习、深度学习等方法。房产搜索引擎主要使用拼写检查、基于词典纠错等方法。 关于机器学习或深度学习,主要采用s等模型进行改写生成。另外,ERT的应用也是不错的选择,在工业界被广泛应用。 根据纠错规则,此处将qery处理为“朝阳/两居/二手房”。 . 扩展 扩展Exnsion一般指对用户的qery进行扩展,以便召回更多符合用户需求的数据。扩展通常有以下方法: 同义词扩展:将查询词中的同近义词进行转换或替换。如用户输入“北京九号线”可将词语扩展至“国家图书馆”、“郭公庄”等沿线站点; 模糊匹配扩展
对查询词进行模糊匹配
用来纠正潜在的拼写或。如对于“橡树”可扩展 AGB目录 至“橡树湾”; 根据查询词的内容和上下文:添加相关的查询词或属性,以扩展搜索结果。对于用户输入“学区房”可将其扩展为包括标题“xx学校”的检索结果; 基于用户画像的扩展:根据用户的历史搜索行为、兴趣偏好、地理位置等上下文信息,扩展用户查询词,以更好地匹配搜索结果。如,对于经常浏览别墅的用户,在对其“二手房”的搜索上可加上“别墅二手房”等关联词汇。 . 意图识别 意图识别指通过各种方法,对用户的qery进行分析,确定用户需求的过程。用户意图可分为精准意图和模糊意图。 精准意图识别一般根据用户的qery,检索其用户意图精准对应的item。