• python selenium 查找隐藏元素 自动播放视频 动态加载

    在使用python做爬虫的过程中,有些页面的的部分数据是通过js异步加载的,js调用接口的请求中有时还带有些加密的参数很难破解无法使用requests这样的包直接爬取数据,因此需要借助seleniu来完成js的自动加载。
    通过selenium 模拟浏览器的真是操作来获取页面中的所有请求,并且可以查找到一下页面上一些隐藏的元素,这些元素在html源码中无法看到,并且和能通过xpath和正则来捕获,因此需要使用selenium来查找隐藏元素,例如视频网站的播放按钮
    [Read More…]

  • squid+haproxy实现爬虫代理服务器

    通过squid搭建正向代理并结合haproxy实现负载均衡,代理服务器和代理服务器ip更换不需要更改爬虫脚本配置,直接由haproxy实现负载均衡和故障转移。

    [Read More…]

  • Flask web模板七–脚本Flask-Script

    有时需要通过命令行来执行一些python脚本,这些脚本又使用到了项目中的类,比如数据库的调用,通过Flask-Script可以实现在脚本中直接使用定义好的类,而不需要经过视图函数来完成调用。
    [Read More…]

  • Flask web模板六–Flask-Login完成登录验证

    在登录视图函数中通过表单提交的数据和数据库中的数据进行对比完成登录验证后可以通过Flask-Login插件实现将登录的信息写入cookie,然后对要求登录的页面进行验证,只有验证通过才能访问指定的页面。
    [Read More…]

  • Flask web模板五–注册和登录

    通过使用wtform和Flask-wtf分别完成注册和登录功能,使用wtform创建一个用户注册的表单类,再用Flask-wtf创建一个用户登录的表单类。
    [Read More…]

  • Flask web模板四–添加数据库模块

    通过flask-sqlalchemy来实现flask操作数据库,这里创建一个user模型来实现将用户信息保存到mysql
    [Read More…]

  • pycharm设置

    在pycharm中的语法检测通常会有一些错误警告,例如模板文件不存在、html模板语言等,这些可以在pycharm的设置中指定
    [Read More…]

  • flask web模板三

    在单蓝图多视图文件模板的基础上将配置文件拆分为两个

    将项目根目录下的config.py移动到app目录下,并拆分成setting.py和secure.py两个配置文件
    settings.py用来保存一些非机密的配置,比如程序中的参数、静态文件路径等生产环境和开发环境相同的配置信息,这个文件可以上传git
    secure.py用来保存一些机密配置,比如数据库连接配置、是否开启DEBUG,这个文件用来保存开发环境和生产环境不同的配置,这个文件不能上传git
    [Read More…]

  • flask web模板二

    通过多个蓝图将不同功能的视图函数放到不同的模块文件下

    文件目录结构如下
    .
    ├── app
    │   ├── __init__.py # 初始化flask核心对象,导入视图函数文件,并注册视图函数到蓝图
    │   ├── templates # 模板文件目录
    │   │   └── login.html
    │   └── views
    │   ├── account.py # 创建和账号相关视图函数
    │   ├── __init__.py # 定义蓝图,并导入views下的视图函数模块文件
    │   ├── user.py # 创建和用户相关的视图函数
    │   └── web.py # 创建大部分业务相关视图函数
    ├── Pipfile
    ├── run.py # 启动flask,加载配置文件
    └── settings.py # 定义配置文件
    [Read More…]

  • flask web模板一

    单蓝图多视图文件模板

    文件目录结构如下
    .
    ├── app
    │   ├── __init__.py # 初始化flask核心对象
    │   └── web
    │   ├── account.py # 和账号相关视图函数定义文件
    │   ├── blueprint.py # 蓝图定义文件
    │   ├── __init__.py # 将视图函数文件导入,保证视图函数可以注册到蓝图
    │   └── user.py # 和用户相关视图函数定义文件
    ├── config.py # 项目配置文件
    ├── readme.txt
    └── run.py # 项目启动文件
    [Read More…]

第 1 页,共 7 页12345...尾页 »