Skip to content

Abrahum Link

搅拌器设计

水处理、制浆搅拌器相关设计参考资料,主要来自于给排水设计手册。

Script languages in Rust

调查对比目前 Rust 实现的几种脚本语言,比较的标准并不统一,纯个人向,方向大概会包含脚本语言本身是否美观易用、与 Rust 的互操作是否方便、目前解释器的实现进度等。

Hexo迁徙至5.0

日前准备重新开始更新,结果安装的最新 node14 和 hexo 不兼容,虽然 hexo s 可以正常的渲染出预览画面,但是 hexo g 出来却是全部都是 0kb 的空文件。

后续虽然安装切换回 node12 以后,问题解决了,干脆就再度迁移到 hexo5.0 与 next 主题的最新版。

go语言学习笔记

开始学习 Golang 的语法。

主要记录 go 和 python 的异同点,随便写写,以供自励。

Pixiv数据分析

寒假的时候利用家里不计费的网爬取了600w+P站的图片数据。一开始的目的是解决:由于P站本身的搜索页面1000页限制,而导致的无法通过搜索爬取较早图片信息,这一问题。所以在爬取的一开始,我的目标是获取高收藏的高质量作品。我采取的爬取策略是通过第一个画师的收藏夹开始,获取他收藏夹内的图片信息,接着将这些图片的画师id加入画师数据库。当当前画师的收藏夹爬取完毕后,就从画师数据库中随机抽取一个新的画师重复之前的步骤。这样的策略可以从点到面的快速、无休止地多线程爬取高质量的画作。

asyncio的学习与应用

一直在制作完善pixiv的爬虫,最近遇到了一个问题,学校的网络环境太差了,导致了IO阻塞时间过长,常常出现线程长时间阻塞,占用了时间和内存。

为了解决这个问题,我决定尝试制定一个超时的图片删除重新爬取的过程,三次爬取不全则log报错不再爬取。

同时将整个脚本搬运至3.5版本,重新用asyncio异步编写,减少线程使用。