多平台聚合
稳定涵盖全网数百+热点平台的内容,我写这个文档的时候,一共有178个平台,包含各种领域,而且还在不断增加
网站内有各种各样使用的功能和设置等,可以瞅瞅有没有自己没发现的
涵盖全网数百+热点平台的内容,我写这个文档的时候,一共有178个平台,包含各种领域,而且还在不断增加
你可以点击平台卡片图标附近的星星按钮,就可以收藏卡片,然后可以在收藏分类中查看,这样就可以集中查看自己感兴趣的内容
主页的底部,有评论区域,支持登录评论或者匿名评论。如果你对网站有建议或者意见,都可以在下面提,目前大家在里面提到的痛点或者希望的功能等等,现在基本都已经实现了。我看到大家的评论,基本都会回复并且实现相应的功能
顶部导航栏中间,有个搜索框,里面的搜索逻辑是这样:把你的搜索词,去和后台所有内存缓存里的热榜数据做比对,匹配到之后,返回给你列表,其实这个配合词云用是比较好的,你在词云中发现某个东西当下热度特别高的时候,就可以在搜索框里去搜索他对应的东西
实时简报生成逻辑是,后台每五分钟循环一次,将所有平台的热点信息,提交给语言大模型处理,让他总结出五个热度最高的话题,然后再去分析、预测及建议。从这里是很容易看出最近的市场趋势的,还能看到大模型给我们的建议,很有用还是
这块是后台每分钟循环一次,将当前这一分钟内的所有热点标题进行分词,然后统计频率。他的好处就是一眼就看到当下最最最热点的东西、最顶流的话题
我们支持全方位的RSS功能,你可以全站、按分类、按平台去订阅,在卡片或者分类上都有黄色的RSS小图标,点击就能拿到RSS地址,然后你就可以在喜欢的RSS阅读器里订阅了。我们的RSS数据也是做的实时的,你每次RSS拉取到的,同样是最近1分钟内的全网最新的数据
在主页右上角有个小鱼,点击后就会进入一个和Excel几乎一样的画面,他是完全由HTML生成的,里面的数据也是实时更新的,不论数据或者更新频率,都是和主页同步的。里面顶部的自定义设置,可以设置Excel里各种字体的大小、粗细,同时里面还有小彩蛋,点一点就会发现哈
这一块的逻辑改了好几版。一开始是后台定时爬取数据(每分钟1次),然后放到高速内存缓存中,有效期1分钟,用户前端请求的时候,后台先查缓存,缓存里不存在的话,主动去官网拉取。这样一开始是很好的,但是随着平台增加,请求越来越频繁,这种用户有权主动去爬取数据的逻辑带来的弊端就出来了,太容易引发风控,会到底服务器被大量平台拉入黑名单,然后页面上一刷一个没数据。之后一直改来改去,到现在是服务器定时爬数据(每分钟1次),有效期48小时,期间每分钟的定时任务,如果拉取到数据,就覆盖旧缓存,用户前端请求,永远只能拿后台缓存中的数据,无权直接去爬数据,这样带来的好处就是,爬取速率等问题完全由后端控制,用户前端看到的永远是近1分钟最新的数据。即使某些平台因为各种问题暂时没数据,用户也能拿到一定时间段前的存在于缓存中的数据,不论从体验还是安全性方面都做到了平衡
历史数据只存储10天,每天大概1500万数据,所以最多限制存了1.5亿条数据。然后数据是通过parquet形式落地到磁盘的,查询用的duckdb,数据之间的相似性通过汉明距离来判断(存在误判的可能性)