Scrapy 如何设置应用cookies

第一种：setting文件中设置cookie

当COOKIES_ENABLED是注释的时候，scrapy默认没有开启cookie
当COOKIES_ENABLED没有注释设置为False的时候，scrapy默认使用了settings里面的cookie
当COOKIES_ENABLED设置为True的时候，scrapy就会把settings的cookie关掉，使用自定义cookie

注意：
当使用settings的cookie的时候，又把COOKIES_ENABLED设置为True，scrapy就会把settings的cookie关闭，
而且也没使用自定义的cookie，会导致整个请求没有cookie,导致获取数据失败。

如果使用自定义cookie就把COOKIES_ENABLED设置为True
如果使用settings的cookie就把COOKIES_ENABLED设置为False

第二种：middlewares中设置cookie

在middlewares中的downloadermiddleware中的process_request中配置cookie，配置如下：

request.cookies={undefined
  :     ,       :  ,

}

注意：cookie内容要以键值对的形式存在

第三种：在spider爬虫主文件中，重写start_request方法，在scrapy的Request函数的参数中传递cookies

             
    # 重载start_requests方法
    def start_requests(self):
        headers = {
                    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) Gecko/20100101 Firefox/44.0"}
        # 指定cookies
        cookies = {
                     id :  66a0f5e7546b4e068497.154288.1.0. ,
                     _lxsdk_cuid :  1673ae5bfd3c8-0ab24c91d32ccc8-143d7240-3ae5bfd4c8 ,
                     __mta :  222746148.1542881402495.1542881402495.1542881402495.1 ,
                     ci :  26 ,
                     rvct :  20%2C92%2C282%2C281%2C1 ,
                     _lx_utm :  utm_source%3DBaidu%26utm_medium%3Dorganic ,
                     _lxsdk_s :  1674f401e2a-d02-c7d-438%7C%7C35 }
 
  # 再次请求到详情页，并且声明回调函数callback，dont_filter=True 不进行域名过滤，meta给回调函数传递数据

注意：
必定要设置  ROBOTSTXT_OBEY=False