• flask查询es并保存到csv

    使用python查询es,通过flask展示数据并将结果以附件的形式保存
    程序结构如下
    .
    ├── app
    │   ├── forms                表单类目录
    │   │   ├── article.py
    │   │   ├── base.py
    │   │   ├── __init__.py
    │   ├── __init__.py          项目核心文件,完成flask初始化,配置加载,蓝图注册等任务
    │   ├── libs                      程序调用的底层类和函数
    │   │   ├── error_code.py
    │   │   ├── errors.py
    │   │   ├── es.py
    │   │   ├── save_csv.py
    │   │   └── test.csv
    │   ├── secure.py      机密配置文件,数据库连接等,不上传到仓库
    │   ├── setting.py      通用配置文件,图片路径等,上传到仓库
    │   ├── static           静态文件目录
    │   │   ├── csv
    │   │   └── pic
    │   ├── templates     模板目录
    │   │   ├── all_result.html
    │   │   ├── article.html
    │   │   └── base.html
    │   ├── view_models    处理底层类和函数的类型,用来封装数据
    │   │   ├── article.py
    │   │   ├── __init__.py
    │   └── web             视图函数目录
    │   ├── blueprint.py    蓝图定义文件
    │   ├── index.py        蓝图文件
    │   ├── __init__.py     导入蓝图
    │   └── user.py         蓝图文件
    ├── exclude.list
    ├── manager.py      生产环境运行文件
    ├── Pipfile
    ├── readme.txt
    ├── requrement.txt
    └── run.py        开发环境运行文件
    [Read More…]

  • conda创建python虚拟环境

    部署程序
    1、使用conda配置虚拟环境
    conda create -n Travel python=3.6.1
    2、激活虚拟环境
    conda activate Travel
    3、安装依赖包
    cd /home/httpd/Travel
    pip install -r requirements.txt
    换源安装
    pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
    4、启动项目
    python manage.py -p 5002 -h 0.0.0.0
    5、设置开机启动
    echo “nohup /root/miniconda3/envs/Travel/bin/python manage.py -p 5002 -h 0.0.0.0 2>&1 &” >> /etc/rc.local

  • python通过m3u8下载视频

    python可以通过安装ffmpeg扩展来实现下载m3u8的视频,很多视频网站都提供m3u8

    ffmpeg命令行格式如下
    D:\Python36\Lib\site-packages\imageio_ffmpeg\binaries\ffmpeg-win64-v4.1.exe -i  url -vcodec copy -acodec copy 视频.mp4
    通过解析视频网站活动m3u8的url,再使用ffmeg可以实现视频下载
    [Read More…]

  • 流畅的python

    用python3语言讲解,有大量经典的算法代码,适合python进阶的用户,有非常多的python的高级用法
    [Read More…]

  • 算法图解

    本书示例丰富,图文并茂,以让人容易理解的方式阐释了算法,旨在帮助程序员在日常项目中更好地发挥算法的能量。书中的前三章将帮助你打下基础,带你学习二分查找、大O表示法、两种基本的数据结构以及递归等。余下的篇幅将主要介绍应用广泛的算法,具体内容包括:面对具体问题时的解决技巧,比如,何时采用贪婪算法或动态规划;散列表的应用;图算法;K最近邻算法。

    [Read More…]

  • python selenium 查找隐藏元素 自动播放视频 动态加载

    在使用python做爬虫的过程中,有些页面的的部分数据是通过js异步加载的,js调用接口的请求中有时还带有些加密的参数很难破解无法使用requests这样的包直接爬取数据,因此需要借助seleniu来完成js的自动加载。
    通过selenium 模拟浏览器的真是操作来获取页面中的所有请求,并且可以查找到一下页面上一些隐藏的元素,这些元素在html源码中无法看到,并且和能通过xpath和正则来捕获,因此需要使用selenium来查找隐藏元素,例如视频网站的播放按钮
    [Read More…]

  • squid+haproxy实现爬虫代理服务器

    通过squid搭建正向代理并结合haproxy实现负载均衡,代理服务器和代理服务器ip更换不需要更改爬虫脚本配置,直接由haproxy实现负载均衡和故障转移。

    [Read More…]

  • Flask web模板七–脚本Flask-Script

    有时需要通过命令行来执行一些python脚本,这些脚本又使用到了项目中的类,比如数据库的调用,通过Flask-Script可以实现在脚本中直接使用定义好的类,而不需要经过视图函数来完成调用。
    [Read More…]

  • Flask web模板六–Flask-Login完成登录验证

    在登录视图函数中通过表单提交的数据和数据库中的数据进行对比完成登录验证后可以通过Flask-Login插件实现将登录的信息写入cookie,然后对要求登录的页面进行验证,只有验证通过才能访问指定的页面。
    [Read More…]

  • Flask web模板五–注册和登录

    通过使用wtform和Flask-wtf分别完成注册和登录功能,使用wtform创建一个用户注册的表单类,再用Flask-wtf创建一个用户登录的表单类。
    [Read More…]

第 1 页,共 7 页12345...尾页 »