是不是还在为阿里云盘空间太小而烦恼! 好东西太多,奈何就这么点空间,存不下所有东西,何解?
阿里云盘空间不足的问题也让我头疼,虽然有一些免费的阿里云盘的搜索引擎,但那不是我的!
终于决定了,自己编写一个阿里云盘搜索引擎服务!
如果打算自己完全的写一个搜索引擎,工作量显然是非常大的,所以要借助开源产品来完成这个项目。
简单说下这个项目使用了哪些东西:
- Redis
- MongoDB
- Monstache
- Elasticsearch / Meilisearch
- 爬虫模块 + 高匿名代理池
- Vue前端 + GoLang
整个东西搞下来,主要就是这些模块。
细心的朋友可能留意到了,核心的的搜索引擎有两个 ES 和 meili, 这里有一段弯路。
起初仅打算使用meili玩一下,结果太令人失望了, 索引文件更新慢、磁盘空间占用巨大,维护索引需要开发一堆工具 等等一系列问题, 虽然我硬着解决了这些问题,但最后还是放弃了使用meili。meili 这个东西它有点不美丽呀。
如果直接使用MongoDB提供搜索服务,对中文文本检索能力有很差, 还是选择 Elasticsearch最适合了。
目前,搜索服务还在测试阶段,很多硬件资源及安全问题还没解决,适当时机开放使用。