scrapy框架学习——Selector选择器
爬取网站最常见的任务是从HTML源代码中提取数据。常用的库有BeautifulSoup。lxml库，Xpath。 Selector 中Xpath和CSS的使用 标签是节点 ，可以有层级 属性使用@来调用 内容要用text()来调用 条件要在[ ]写明白，也可以是contains[] //表示获得所有的某一个标签 ./表示下一级的方法 可以使用正则表达式最原始的过滤。 response**.xpath(‘//a[contains(@href,“image”)]/text()’).**re(r’Name:\s*(.*)’)
scrapy框架学习——Spiders
Spider类定义了如何爬去某个网站，包括爬去的动作、分析某个网页。 这个流程再清晰一下 发送请求->返回网页->分析处理生成数据->保存。 对爬虫过程的描述： 初始的URL初始化Request，设置回调函数。下载完成，生成response，并作为参数传给该回调函数。start_requests()来获取start_urls. 在回调函数内分析返回的网页内容，返回Item对象，或者Request或者一个包括而止的可迭代的容器。放回的Response对象经过处理，调用callback函数。 在回调函数内可以使用选择器（Xpath解析器等任何解析器）来分析内容，并根据分析，生成数据item 最后，spider返回的item将被存到数据库中或者导入文件当中。 Spider crawl mysqpider -a category=electronics传递spider的参数，限定爬去网站的部分。 函数的调用流程 spider的构成： name 名字，作用域内唯一。 allowed_domains可选，包含了spider爬取的域名domain列表li...
注意
以后逐步将手写笔记改为网络端。（节约时间、便于调整，有利于复习）
scrapy视频学习
spider 的使用说明： 继承scrapy.spider name spider的名字 start_urls初始链接 request 发送请求并且捕获相应，通过回调函数parse处理response相应 request函数能够发送请求，request函数需要一个回调函数，来接受请求。默认的request函数调用了parse，但是在多次request中，需要设置不同的parse函数，来处理多次请求 python回调函数的意思就是在一个函数的某个地方通过一个函数指针，调用另外一个函数，使得函数跳转。因为python是脚本，所以，在没有返回值的python函数执行时，如果函数跳转到其他地方，并不会返回一个值到原来的地方。 轮换useragent的目的： 当你使用同一个浏览器的时候（同一个useragent）会因为过度浪费服务器资源而被禁掉。 scrapy的一些内置特性： scrapy内置的数据抽取其：css/xpath/re scrapy内置结果的输出：csv,xml,json 自动处理编码 有丰富的内置扩展 cookies session 客户端和服务器端的缓存...
2 基本的命令及操作
>基本的数据类型 >>字符串string 使用’或“ >>整数integer 21 025 0x15 >>浮点数1.48 2.1e2有精度损失 >>布尔型boolean True或者False >>复数 1+4j >>使用type函数查看数据类型type（’小明‘），区分类型 >运算符与表达式 >>算数运算5.0 / 9 * （32-8）隐式类型转换bool->int->float->complex >>+ - * / % **(指数) >>math模块实现更多算术运算 模块：实现一定功能的python脚本的集合 方法：import module_name 查看model：dir(math) 查看function：help（name） >>关系运算== != < > <= >=结果True False >>逻辑运算符 and o...
4 函数
>函数 >>函数定义：完成特定功能的一个语句组，这组语句可以作为一个单位使用，并且给他求个名字，通过函数名执行 >>语法： [python] viewplaincopy <span style=”font-size:18px;”> def print_sum(start, stop): “”” to calculate the sum from start to stop “”” result = 0 for i in range(star, stop + 1): result += i print ‘sum is’, result</span> 第一行定义了一个函数，关键字 def ，函数名 print_sum，函数参数start， stop >>函数调用 [python] viewplaincopy <span style=”font-size:18px;”>print_sum(a, b)</span>...
3 程序的控制结构
选择结构 程序流程图：用简单的图形表示问题的解决步骤；起止框，处理匡，判断框，文档框，流程线，圆形，输入输出框 语法：（python中大括号不是分区作用，是靠语句块的缩进来体现语句块术语的范围） 12345678910111213if 条件： 缩进语句块其余的语句if 条件： 缩进语句块else ： 缩进语句块 if语句支持嵌套 多分支结构elif 条件==else if条件，有助于简化缩进，是画面更加清晰，可读性更高 涉及到两个典型的例子：elif计算多分支结构；领先是否安全的例子 循环结构 while：条件判断，成立则执行循环体，不成立则不执行 1234567初始化语句while 条件语句： 循环体其它语句 break，结束当前循环体 continue，结束这次循环或者说开始新的循环 for循环 123for element in object 循环体 range(start，stop，step)生成连续整数 >程序控制结构的练习题 >>if-else 句型 [python]...
5 列表与元组
>列表简介 >>是一种内建的数据结构，用来存储一系列的元素 >>同JS一样，由于解释性语言不必声明数据类型，所以数组的元素也可以很灵或的不相同。 >列表的运算 index索引运算：[] 切片运算：[:] 拼接运算+ 重复运算* 成员运算in 长度运算len（） 循环for（） >列表方法： list.intex()可以返回任意的方法 my_list[2] = a #元素赋值 my_list.append()#末尾追加元素 my_list.extend()#末尾追加子表 my_list.insert()#任意位置插入元素 my_list.pop()结尾删除元素 my_lise.sort()#排序 my_list.remove()#删除任意位置元素 my_list.reverse()#倒序 >列表应用 >>内建函数：sum()求和，max（）求最大值，min()求最小值 >>列...
6 字典和集合
>字典结构 >>键值对（融合了PHP中的特点） >>创建字典，使用成对的花括号{ }，使用冒号表示键值对 例如：my_dict = {‘John’:879798,’Bob’:8757,’mike’:725466} 其他方法：dict(zip([1,2,3],[4,5,6]))或dict([(1,4),(2,5),(3,6)]) >>访问字典：使用方括号[ ] ，使用键作为索引 例如：print my_dict print my_dict[‘tom’] >>字典运算符和方法 len（my_dict）字典中键值对的数量 key in my_dict快速判断key是否为字典中的键（=>my_dict.has_key(key)） for key in my_dict:能够遍历数组中所有的键（不是值） my_dict.items()全部的键值对，以列表的形式存在（好像Python中称数组为列表吧） my_dict.keys() 全部的键 my...
7 字符串
>字符串的定义 >>字符串是一个字符的序列，可以使用‘单引号’或者“双引号”表示。 >>使用‘’‘三引号’‘’表示时，可以保留字符串的格式信息。 >>可以使用转义字符表示字符串内部的引号。/n回车换行/t制表符 >字符串的基本运算 >>len(字符串)：返回字符串的长度 >> + ：拼接操作name = first_name + “jordan” >> * ：重复操作name * 3 = “mike mike mike” >in运算 >> in：判断一个字符串是不是另一个字符串的子串（大小写敏感）返回一个true或false name = ‘michael jordan’ ‘a’ in name 返回true >>for语句 my_str = “hello word” for char in my_str 循环体 >字符串索引index >>字...
