首页 / 后端开发 / Python

windows下利用(python)scrapy写爬虫,运行 scrapy crawl spider_name 命令时提示:exceptions.ImportError: No module named win32api

解决方案:安装pywin32模块,可在http://sourceforge.net/projects/pywin32/下载(版本必须与当前python的相同)...

2018-02-06
标签: Python    35

python3 多线程编程之threading模块创建线程的方法

'''多线程类似于同时执行多个不同程序,多线程运行有如下优点:使用线程可以把占据长时间的程序中的任务放到后台去处理。用户界面可以更加吸引人,比如用户点击了一个按钮去触发某些事件的处理,可以弹出一个进度条来显示处理的进度程序的运行速度可能加快在一些等待的任务实现上如用户输入、文件读写和网络收发数据等,...

2017-08-11
标签: Python    51

python 爬虫原理分析图

一张简单的爬虫架构图首先我们需要一个爬虫调度端来启动和停止爬虫,同时也要通过它来监视爬虫的状态,并通过它提供接口来作具体的数据应用。这个部分不属于爬虫本身。图中阴影方框中的部分就是我们爬虫程序。因为有的页面的入口有很多,我们可以通过不同的URL调度路径来访问这个界面,那么作为一个智能的爬虫软件,当遇...

2017-08-09
标签: Python    91

windows下,python 安装 Scrapy 报错 import setuptools

Command "d:\python\python27\python.exe -u -c "import setuptools, tokenize;__file__='c:\\users\\admini~1\\appdata\\local\\temp\\pip-build-9gywq7\\Twist...

2017-07-13
标签: Python    43

python的thread和threading区别

python提供了多种模块用来支持多线程编程,thread(在python3中改名为_thread),threading,和 queue模块。通过加入queue模块,用户可以创建多个线程共享数据的队列数据结构。thread和threading模块都可以用来创建和管理线程,而thread模块提供了基本...

2017-07-06
标签: Python    70

Python3 Tkinter Grid布局管理器详解

grid管理器是Tkinter里面最灵活的几何管理布局器。如果你不确定什么情况下从三种布局管理中选择,你至少要保证自己会使用grid。使用pack进行布局的话,你不得不使用一些额外的frame控件,而且还需要花费一些功夫让他们变得好看。如果你使用grid的话,你只需要对每个控件使用grid,所有的东...

2017-07-05
标签: Python    65

scrapy同一个爬虫里包含不同item,pipelines文件编写

items.py文件item类的名字对应pipelines.py文件中类的名字 如:AItem ->APipeline 、BItem -> BPipeline这个pipeline类有优先级之分,可以在setting.py文件设置,数字越小优先级越高。当Aitem传输时会传给Apipeli...

2017-07-05
标签: Python    56

Python操作FTP时,TimeoutError: [WinError 10060] 由于连接方在一段时间后没有正确答复或连接的主机没有反应,连接尝试失败。

利用python中ftplib模块自带的方法,用于FTP操作时获取信息的,但是总是报错:File "D:\Anaconda3\lib\ftplib.py", line 559, in nlst    self.retrlines(cmd, files.append)  ...

2017-06-08
标签: Python    73

python如何去掉字符串‘\xa0’

我们通常所用的空格是 \x20 ,是在标准ASCII可见字符 0x20~0x7e 范围内。而 \xa0 属于 latin1 (ISO/IEC_8859-1)中的扩展字符集字符,代表空白符nbsp(non-breaking space)。 latin1 字符集向下兼容 ASCII ( 0x20~0x7...

2017-06-07
标签: Python    73

windows下安装Scrapy(python3)及scrapy教程

一:安装wheel   wheel介绍 二:安装twisted  twisted是由python编写的一款基于事件驱动的网络引擎,使用twisted模块将python的异步请求(异步模型介绍)成为可能且简单易用。Twisted介绍  三:创建scrapy文件 ...

2017-05-09
标签: Python    39

python简单的爬虫脚本入门详解

本脚本实例以爬取本站文章为例讲解,具体代码如下:from time import sleepimport random  #生成随机字符串import osimport urllib.request #python3.*  urllib的引入用法from bs4 import ...

2016-11-24
标签: Python    52

关于自动化测试selenium

# selenium 是一个自动化测试工具 在Python中的应用#1-selenium在Python中可以完全模拟浏览器操作,对动态数据进行获取#2-动态数据由代码生成,在页面初始化过程中 没有传输无法获取,但是selenium可以获取#3-有些数据是需要登录以后才可以获取,比如好友列表,评论等#...

2016-08-16
标签: Python    53

Python中常出现TabError: inconsistent use of tabs and spaces in indentation

abError: inconsistent use of tabs and spaces in indentation这个错误目前笔者在Subline3遇到的都是看似空格实则没有空格引起的:Subline3显示空格制表符的设置方法:①.Preferences ->  Setting②...

2016-06-13
标签: Python    82