Scrapy框架学习——Items使用
>
准确的说，scrapy主要就有两部分可以编辑，一个使用来处理数据的scrapy.Items,另一个用来仓库
Item的操作包括创建、获取字段的值、设置字段的值、后去所欲的键、获取product列表、获取product字段、社赋值和浅复制、集成扩展item。
Item对象的操作 fields内置字段，是item生命中使用到的field对象的名字，是一个字典。
本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 Estom的博客！
相关推荐
2023-03-14
11 Unsafe类
我们在阅读JAVA并发编程中JUC包下的类源码的时候，经常看见Unsafe类，但是有一个疑惑，为什么处理并发安全的类，要起名为“不安全”呢？后来对于Unsafe深入理解之后，才知道作者的原意，这里说的不安全并不是针对于并发操作，而是指：该类对于普通程序员来说是“危险”的，一般开发者不应该也不会用到此类。因为Unsafe类功能过于强大，提供了一些可以绕开JVM的更底层的功能。它让JAVA拥有了想C语言的指针一样操作内存空间的能力，能够提升效率，但是也带来了指针的复杂性等问题，所以官方并不建议使用，并且没提供文档支持，甚至计划在高版本去除该类。 1 Unsafe构造及获取 Unsafe类使用final修饰，不允许继承，且构造函数是private，使用了饿汉式单例，通过一个静态方法getUnsafe()来获取实例。 2 Unsage功能概述 内存管理 Unsafe的内存管理功能主要包括：普通读写、volatile读写、有序写入、直接操作内存等分配内存与释放内存的功能。 3.1.1、普通读写 Unsafe可以读写一个类的属性，即便这个属性是私有的，也可以对这个属性...
2021-04-10
4.2 命令
命令模式别名 Action Transaction 意图 将一个请求封装为一个对象，从而使你可用不同的请求对客户进行参数化；对请求排队或记录请求日志，以及支持可撤销的操作。 Encapsulate a request as an object, thereby letting you parameterize clientswith different requests, queue or log requests, and support undoable operations. 结构 参与者 Command 声明 Execute 操作的接口。 ConcreteCommand 将一个接收者对象绑定于一个动作。 调用接收者相应的操作，以实现 Execute。 Client 创建一个具体 Command 对象并设定它的接收者。 Invoker 要求 Command 执行请求。 Receiver 知道如何实施与执行一个请求相关的操作。任何类都可能作为一个接收者。 适用性 在以下情况下可以使用 Command 模式： Command模式是回调（ca...
2019-11-07
SNMP
1# SNMP 参考文献 简单网络管理协议 1 版本简单网络管理协议（SNMP）是TCP/IP协议簇的一个应用层协议。在1988年被制定，并被Internet体系结构委员会（IAB）采纳作为一个短期的网络管理解决方案；由于SNMP的简单性，在Internet时代得到了蓬勃的发展，1992年发布了SNMPv2版本，以增强SNMPv1的安全性和功能。现在，已经有了SNMPv3版本。 SNMPv1SNMPv1 是 SNMP 协议的最初版本，提供最小限度的网络管理功能。SNMPv1 的 SMI 和 MIB 都比较简单，且存在较多安全缺陷。SNMPv1 采用团体名认证。团体名的作用类似于密码，用来限制NMS对Agent 的访问。 如果 SNMP 报文携带的团体名没有得到 NMS/Agent 的认可，该报文将被丢弃。SNMPV1 是一种简单的请求/响应协议。网络管理系统发出一个请求，管理器则返回一个响应。这一行为的实现是通过使用四种协议操作中的其中任一种完成的。这四种操作分别是 GET、GETNEXT、SET 和 TRAP。 NMS 通过 GET ...
2021-03-08
2. 软件架构设计方法
软件架构设计方法目录1 面向对象2 信息隐藏3 继承和泛化4 并发处理5 设计模式6 软件架构和构件7 软件质量属性8 基于用例的软件生命周期9 需求、分析和设计建模活动 1 面向对象 这一部分请参考面线对象的课程笔记。 1.1 关键概念 对象类属性操作接口对象的接口是他提供的操作的集合。 2 信息隐蔽2.1 信息隐蔽基础接口是对象可见的部分，其他对象通过接口来调用操作 对象的数据结构发生变化时，不会对其他对象产生影响，只对拥有这个数据结构的对象（同一个类）有影响，并且，由于借口不变，对这个对象的操作调用不变。 基本模块是对象，信息隐藏的内容有栈对象。必须通过栈对象来访问操作。 2.2 信息隐蔽的实现数组实现的信息隐蔽策略链表实现的信息隐蔽策略2.3 信息隐藏对象的设计 首先设计信息隐蔽对象的外部接口 其次设计信息隐蔽对象的内部实现细节 3 继承和泛化3.1 作用 实现了代码的复用，是一种扩展机制 4 并发处理4.1 主动对象 主动对象=并发对象=并发过程=并发任务 拥有自己的空值线程，并且独立于其他对象进行执行 每个主动对象处理一个顺序...
2020-09-25
10运算复写
基本运算算术和比较操作ndarrays 被定义为逐元素操作，并且通常将 ndarray对象作为结果产生。 算术运算+，-，*，/，//， %，divmod()，**,pow() 位运算<<,>>，&，^，|，~ 逻辑运算 not,and,or 比较运算==，<，>， <=，>=，!= 自等运算+=,-=,*=,/=,//=,%=,**=,<<=,>>=,&=,^=,|=,~= 以上所有运算在ndarray中均已经复写实现。 比较运算符 方法 描述 ndarray._lt_(self, value, /) 返回 self<value. ndarray._le_(self, value, /) 返回 self<...
2021-03-09
10 UML笔记之协作图
协作图概述 协作 包含一组对象和链，用于描述系统的行为是如何由系统成分协作实现的。在一定的语境中一组对象以及实现某些行为的对象间的相互作用。协作图就是表现对象协作关系的图。强调组织机构和交互角色。以生命线之间的链接为核心来描述对象之间的消息交互。 作用 显示对象及其交互关系的空间组织结构 表现一个类操作的实现 组成 协作图基本元素：活动者、对象、链接、消息。 对象：用来表示操作图中参与交互的对象。 多对象：用来表示协作图中参与交互的多个对象。 链接：两个或多个对象之间的独立连接，是对象引用元组，是关联的实例。链的表示形式：一个或多个相连的线或弧。 消息：对象之间发送的消息。 示例 通信图的建立 1. 确定交互过程的上下文(context)； 2. 识别参与交互过程的对象； 3. 如果需要，为每个对象设置初始特性； 4. 确定对象之间的链(link)，以及沿着链的消息； 5. 从引发这个交互过程的初始消息开始，将随后的每个消息附到相应的链上； 6. 如果需要表示消息的嵌套，则用Dewey十进制表...
