Hopetree
5 年，11月前
双11当晚写的天猫爬虫，爬虫神器 scrapy 大法好！！！
今天是11月11，也就是电商狂欢日，本该守着点开始抢购商品的，但是由于自己本身也没有想买的东西，而且之前也做过电商公司的数据爬取工作，所以闲的没事就在别人都在网购的时候，自己趁机写了个小爬虫来爬取天猫店铺的商品信息。
今天是11月11，也就是电商狂欢日，本该守着点开始抢购商品的，但是由于自己本身也没有想买的东西，而且之前也做过电商公司的数据爬取...
Hopetree
5 年，11月前
安装 Scrapy 失败的正确解决方法及运行中报错的解决思路
由于前段时间电脑报废了，所以最近换了个新电脑，于是重新安装了很多常用的软件，Python 大法就不用说了，当然是在电脑到来的第一天就安装了。今天想写一个爬虫，又不想麻烦，于是想到了用 scrapy，这个爬虫框架好久没用了，新电脑也没有安装，于是在重新安装的时候...
由于前段时间电脑报废了，所以最近换了个新电脑，于是重新安装了很多常用的软件，Python 大法就不用说了，当然是在电脑到来的第一...
Hopetree
6 年，1月前
Linux 学习笔记 ——第（1）期
这周是9月第2周，在接手同事的容器化代码和自动化部署代码之后发现了自己很大的问题，那就是对 Linux 的脚本和一些常用的命令还不是很熟悉，经常要去查命令的用法，于是决定还是开个分类每周一篇文章来记录一下每天用到或者见到的命令，算是一种笔记吧！这是第一期。
这周是9月第2周，在接手同事的容器化代码和自动化部署代码之后发现了自己很大的问题，那就是对 Linux 的脚本和一些常用的命令还...
Hopetree
6 年，1月前
关于本博客项目的一些版本及对应分支的调整并解答一些问题
自从离职又入职到新公司之后，已经三个月没有更新博客文章了。不过浏览博客的人数每天依然还是有上百位，当然，我运行这个博客的目的其实也并不是为了给人看，更多的是为了继续维护自己的这个 django 项目，同时用博客的形式来记录一些自己学到的东西，就当作自己留给自己...
自从离职又入职到新公司之后，已经三个月没有更新博客文章了。不过浏览博客的人数每天依然还是有上百位，当然，我运行这个博客的目的其实...
Hopetree
6 年，4月前
Python 进行 SSH 操作，实现本地与服务器的链接，进行文件的上传和下载
我本地和服务器的连接一直使用的是 Xshell 5，而在与服务器进行文件操作的时候使用的是 Xshell 推荐安装的一个工具 Xftp 5，然而，昨天自己想着从服务器下载备份好的的数据库文件到本地的时候发现这个文件传输工具居然过期不能用了，好气啊！于是没办法（...
我本地和服务器的连接一直使用的是 Xshell 5，而在与服务器进行文件操作的时候使用的是 Xshell 推荐安装的一个工具 X...
Hopetree
6 年，5月前
.app 域名发布了，我们可以使用 Python 做点什么？
.app 域名是前段时间谷歌花费2500万美元竞拍获得，是全球首个需要 HTTPS 加密的顶级域名。该域名从2018年5月8日开始全面接受注册，由于这个域名对于现今移动 APP 的发展有着非常重要的意义，所以必将带来一波域名疯抢的高潮。那么，在这波域名抢注的机...
.app 域名是前段时间谷歌花费2500万美元竞拍获得，是全球首个需要 HTTPS 加密的顶级域名。该域名从2018年5月8日开...
Hopetree
6 年，5月前
使用 selenium 写的多进程全网页截图工具，发现了 PhantomJS 截图的 bug
selenium 是一个可以模拟浏览器操作的工具，据我所知，不仅仅是 Python，还有其他的编程语言也有支持的 selenium 库，可以作为爬虫或者自动化测试。当然，还有今天要说的，可以使用 selenium 来作为全网页截图工具。
selenium 是一个可以模拟浏览器操作的工具，据我所知，不仅仅是 Python，还有其他的编程语言也有支持的 seleniu...
Hopetree
6 年，5月前
使用 Django 的 admin 定制后台，丰富自己网站的后台管理系统
Django 自身带有一个功能强大的后台管理系统，这算是 Django 与其他的 Python 的 web 框架相比最大的一个优势吧！通过使用一些 admin 自带的参数，可以定制出一套非常丰富的后台管理系统。这篇文章就来通过我的博客的实例介绍一下我认为比较实...
Django 自身带有一个功能强大的后台管理系统，这算是 Django 与其他的 Python 的 web 框架相比最大的一个优...
Hopetree
6 年，5月前
Linux 上使用 crontab 设置定时任务及运行 Python 代码不执行的解决方案
在使用 Linux 或者 Windows 的时候，我们有可能需要去定时运行一些代码，比如在每个凌晨备份一下数据库，如果这些操作都由人工控制就显得太傻了，使用 Linux 的 crontab 设置定时任务是一个非常不错的选择。但是我在使用的过程中还是遇到了一些问...
在使用 Linux 或者 Windows 的时候，我们有可能需要去定时运行一些代码，比如在每个凌晨备份一下数据库，如果这些操作都...
Hopetree
6 年，6月前
Django 使用 django-redis 作为缓存的正确用法，别忽略缓存的使用原则
一般的 web 服务都会设置缓存机制，特别是那些大型的服务，因为请求多，所以为了减少对数据库的查询，可以使用缓存来存储一些必要的信息给请求调用。Django 自身也有一套相对完善的缓存系统，这篇文章来介绍一下使用 redis 作为 Django 缓存的使用方法...
一般的 web 服务都会设置缓存机制，特别是那些大型的服务，因为请求多，所以为了减少对数据库的查询，可以使用缓存来存储一些必要的...
- [Python 爬虫]煎蛋网 OOXX 妹子图爬虫（2）——多线程+多进程下载图片
- 使用pip下载python依赖包whl文件并进行离线安装
- ddns-go 的使用，实现公网 IPv6 下动态域名解析
- Windows 系统将 .exe 程序设置为系统服务的方案
- Linux系统中负载过高问题的排查思路与解决方案
- MongoDB集群部署——（Replica Set）副本集模式
- Flask、Tornado、FastAPI、Sanic 以及 Gin 框架性能对比
- PVE系统在概要中显示CPU温度的方法
- Python 命令行参数的3种传入方式
- 快速组网工具TailScale的使用，可以平替Zerotier