Hopetree
5 年，6月前
双11当晚写的天猫爬虫，爬虫神器 scrapy 大法好！！！
今天是11月11，也就是电商狂欢日，本该守着点开始抢购商品的，但是由于自己本身也没有想买的东西，而且之前也做过电商公司的数据爬取工作，所以闲的没事就在别人都在网购的时候，自己趁机写了个小爬虫来爬取天猫店铺的商品信息。
今天是11月11，也就是电商狂欢日，本该守着点开始抢购商品的，但是由于自己本身也没有想买的东西，而且之前也做过电商公司的数据爬取...
Hopetree
5 年，4月前
容器化部署博客（1）—— 安装 docker 和 docker-compose
我的博客已经在前段时间变更为容器化部署了，部署的方式改变之后，部署时间和需要做的准备工作缩短了很多，现在如果环境上面容器的相关东西已经准备好，部署一次博客只需要10分钟就够了，速度相当快。
我的博客已经在前段时间变更为容器化部署了，部署的方式改变之后，部署时间和需要做的准备工作缩短了很多，现在如果环境上面容器的相关东...
![[博客搭建] 通过用户邮箱认证来介绍 django-allauth 的使用思路](/media/cdn/article/190308/oauth2.0.png)
Hopetree
5 年，2月前
[博客搭建] 通过用户邮箱认证来介绍 django-allauth 的使用思路
我的博客使用了 django-allauth 应用插件，所以是支持 Oauth2.0 协议的第三方账号登录（Github 和 Weibo）。同时，博客支持邮箱注册登录，不过我之前关闭了邮箱认证，现在已经开启验证功能，用户注册和登录之后都可以选择是否进行认证，当...
我的博客使用了 django-allauth 应用插件，所以是支持 Oauth2.0 协议的第三方账号登录（Github 和 W...
Hopetree
3 年，9月前
使用 setup.py 将 Python 库打包分发到 PyPI 踩坑指南
前段时间写了一个 django 的应用安装包打包上传到了 PyPI，由于是第一次打包分发，所以趁机研究了一下 Python 打包的相关注意事项。网上的确是可以搜到很多相关资料，但是我发现很多人都在无脑复制粘贴或者简单的提供了一份打包配置，一点不实际也不实用，而...
前段时间写了一个 django 的应用安装包打包上传到了 PyPI，由于是第一次打包分发，所以趁机研究了一下 Python 打包...
![[Python 爬虫]煎蛋网 OOXX 妹子图爬虫（2）——多线程+多进程下载图片](/media/article/upload/2023/07/17/meizi-2.png)
Hopetree
6 年，1月前
[Python 爬虫]煎蛋网 OOXX 妹子图爬虫（2）——多线程+多进程下载图片
上一篇文章全面解析了煎蛋网的妹子图的图片链接解密的方式，已经可以通过 Python 爬虫代码批量获取每个页面中的图片地址。但是上一篇文章中并没有写图片下载的函数，这一篇文章就来使用 Python 的多线程和多进程来批量下载图片。
上一篇文章全面解析了煎蛋网的妹子图的图片链接解密的方式，已经可以通过 Python 爬虫代码批量获取每个页面中的图片地址。但是上...
![[Python 爬虫]煎蛋网 OOXX 妹子图爬虫（1）——解密图片地址](/media/cdn/article/180415/meizi.png)
Hopetree
6 年，1月前
[Python 爬虫]煎蛋网 OOXX 妹子图爬虫（1）——解密图片地址
之前在鱼C论坛的时候，看到很多人都在用 Python 写爬虫爬煎蛋网的妹子图，当时我也写过，爬了很多的妹子图片。后来煎蛋网把妹子图的网页改进了，对图片的地址进行了加密，所以论坛里面的人经常有人问怎么请求的页面没有链接。这篇文章就来说一下煎蛋网 OOXX 妹子图...
之前在鱼C论坛的时候，看到很多人都在用 Python 写爬虫爬煎蛋网的妹子图，当时我也写过，爬了很多的妹子图片。后来煎蛋网把妹子...
Hopetree
2 年，1月前
检查服务器端口连通性的几种方法
在日常运维工作中，经常会需要检查本机或者其他服务器的端口开放情况，虽然自己本身也会几个基本的查看端口连通性的命令，但是也会遇到某些服务器上面没有安装自己会的工具，所以收集了一些可以用来检测端口连通性的命令工具。
在日常运维工作中，经常会需要检查本机或者其他服务器的端口开放情况，虽然自己本身也会几个基本的查看端口连通性的命令，但是也会遇到某...
Hopetree
3 年，10月前
【Appium 自动化测试】搭建 Appium 环境踩坑记录
Python 在自动化测试方面也是非常好用的语言，平时我的工作中也会使用 Python 进行自动化测试的工作，包括接口测试，直接使用 requests 库调用接口就行，跟写爬虫一样；还有云服务的 UI 测试，也就是页面的测试，可以使用 selenium 进行，...
Python 在自动化测试方面也是非常好用的语言，平时我的工作中也会使用 Python 进行自动化测试的工作，包括接口测试，直接...
Hopetree
4月，3 周前
使用curl命令获取请求接口每个阶段的耗时
最近客户这边的项目有个非常奇怪的网络问题，就是同样是请求一个内网的IP服务，从内网访问的话就很快，请求的耗时跟服务器的处理时间几乎是一样的，但是从“外网”访问，就发现请求耗时非常的长，比如内网是0.3秒，“外网”则需要3秒都不止。因此，我们需要协助客户定位出内...
最近客户这边的项目有个非常奇怪的网络问题，就是同样是请求一个内网的IP服务，从内网访问的话就很快，请求的耗时跟服务器的处理时间几...
Hopetree
8月前
izone 博客容器化部署、升级及迁移步骤最新版（随项目更新）
之前更新过好几篇关于平台部署和迁移的操作，但是很多操作内容可能已经跟不上项目的更新迭代，所以打算写一篇比较基础的项目部署、升级和迁移教程供需要的人使用。这篇部署教程将作为一个长期更新的文章，所有操作都将跟随项目的迭代进行更新。
之前更新过好几篇关于平台部署和迁移的操作，但是很多操作内容可能已经跟不上项目的更新迭代，所以打算写一篇比较基础的项目部署、升级和...
