在抓取伯乐在线上面的文章的信息的时候我们尝试将抓取到的数据写入数据库。 写入的方式有两种，一种是同步的写入，另一种是异步的写入。 同步的写入比较好理解，就是爬到数据以后就立刻将数据写入MySQL。 但是同步地写入有一个缺点，因为scrapy爬取数据的速度远远大于将数据写入MySQL的速度，在数据量比较小的时候造成的影响不大，但是当数据量非常大的时候就会出现很多的问题。所以我们要采用异步的方式爬取数据并且写入MySQL。 python有一个Twisted框架可以完成异步的写入。这个框架可以提供一个连接池，先将爬取到的数据缓存进连接池，然后将连接池中的数据写入MySQL。 举个例子：pipelin ...

SQL注入攻击SQL注入的危害。 SQL注入的危险源： SQL注入 是一个很常见的形式，在SQL注入中，攻击者改变web网页的参数（例如 GET /POST 数据或者URL地址），加入一些其他的SQL片段。 未加处理的网站会将这些信息在后台数据库直接运行。举个例子： 假设我们要写一个函数，用来从通信录搜索页面收集一系列的联系信息。 为防止垃圾邮件发送器阅读系统中的email，我们将在提供email地址以前，首先强制用户输入用户名。1234def user_contacts(request): user = request.GET['username'] sql ...

首先，用户要学习当前的课程的入口就是在课程详情的界面点击我要学习按钮，点击这个按钮之后进入课程章节页面，所以在点击这个按钮的时候就更新下usercourse这张表。 所以在UserVideoView这个视图函数中：12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849# course/views.pyclass CourseVideoView(View): def get(self, request, course_id): if request.us ...

List是python中一种很常见的数据结构，他有很多内置的函数或者操作，这些函数很有用，在这里从函数的功能（参数和输出），使用的场景，时间复杂度几个方面分析下这些函数。 Python的list的实现不是类似数据结构中的单链表，而是类似数组，也就是说==list中的元素保存在一片连续的内存区域中==，这样的话只有知道元素索引就能确定元素的内存位置，从而直接取出该位置上的值，但是它的缺点在于前插需要移动元素，而且随着list中元素的增多需要移动的元素也就越多，花费的时间也就自然多了。而单链表不同，单链表要得到某个位置上的元素必须要从头开始遍历，但是它的插入操作(前插或者后插)基本上都是恒定的时间 ...

json模块是python自带的一个模块。里面有一些很好用的函数。 json.dump()json.dump()函数，这个函数用来将数据存储到JSON文件中。12345>>> import json>>> numbers = [1,2,2,5]>>> filename = 'numbers.json'>>> with open(filename, 'w') as f_obj:... json.dump(numbers, f_obj) 得到的结果1[1, 2, 2, 5] j ...

字典是一些列的键值对，这些键值对是无序的。 我们可以通过索引来访问，添加，修改甚至删除键值对。 遍历字典 字典中可能包含大量的数据，一般情况下我们这样遍历，假设现在有一个字典叫users1234users = {'Lily':20, 'Krist':27, 'Eric':40, 'Json':20}for key, value in users.items(): print("name is "+ key) print("age is "+ ...

首先了解集合有什么特点。集合(set)是python中的一种存放数据的仓库，和列表，字典，元组等等数一样的。 set的一些特点： 可以用花括号”{“来定义 其中的元素没有序列，也就是非序列类型的数据。 set中的元素不可重复这个就是类似于dict的键。 123456789# 定义set类型的变量>>> s1 = {1,2,3}>>> s1{1, 2, 3}>>> type(s1)<class 'set'>>>> s2 = {1,1,1,1, ...

本文转载自：http://www.cnblogs.com/MnCu8261/p/5871085.html 最近做在线学习网站的用户修改头像的功能，使用一个表单上传，在后端接收数据的时候，不止是接收request.POST,还接收了request.FILE,后面这个里面存放的是文件类的信息。 那么request中到底有些什么，不同类型的数据都在什么里面呢？ Django 使用Request 对象和Response 对象在系统间传递状态。 当请求一个页面时，Django会建立一个包含请求元数据的 HttpRequest 对象。 当Django 加载对应的视图时，HttpRequest 对象将作为 ...

本文转载自微信公众号：数据与算法之美 Web 应用框架，简称为 web 框架，是编写 web 应用程序的基石。不管简单的博客系统，还是 Ajax 为主的应用，网络上所有的页面都是代码构成的。进来我发现，很多想学习诸如 Flask 或者 Django 等 web 框架的开发者，并不很了解 web 框架是什么，它们的作用和工作原理。 这篇文章，我将会讲一下这个通常会被忽略的话题。希望读完这篇文章，你能比较深刻地理解 web 框架到底是什么，还有为什么会有 web 框架。这些知识将有利于你学习新的 web 框架，而且在选择 web 框架的时候有法可依。 在讨论框架之前，我们要先了解一下网页是怎么工 ...

学习Django的过程中，我们在分析需求之后一般是从数据库的设计开始的，也就是编写models.py文件，之前看教程，基本上每一格model的最后都会跟着一个Meta类，那么这个类是做什么的呢？ Django 模型类的Meta是一个内部类，它用于定义一些Django模型类的行为特性。 在Meta类中可以设置下面的一些属性：最常用的几个：1.verbose_nameverbose_name的意思很简单，就是给你的模型类起一个更可读的名字。一般定义为中文，举个例子： verbose_name = “学校” 2.verbose_name_plural这个选项是指定，模型的复数形式是什么，比如： v ...