什么样的任务可以用线程将任务并行化呢？
如果你待处理的任务是（任一满足一个条件）1、可拆分为多个子任务，或任务是多个相同的任务的集合；2、任务不是CPU密集型的，如任务涉及到较多IO操作（如文件读取和网络数据处理）python学习
那么你使用多线程将任务并行运行，能够提高运行效率。
假设待处理的任务为：有很多文件目录，对于每个文件目录，搜索匹配一个给定字符串的文件的所有行（相当于是实现grep的功能）。 则此处子任务为：给定一个目录，搜索匹配一个给定字符串的文件的所有行。总的任务为处理所有目录。
将子任务表示为一个函数T，如下所示：
def T(dir, pattern):
print('searching pattern %s in dir %s' % (pattern, dir))
...
为每个子任务创建一个线程
要实现并行化，最简单的方法是为每一个子任务创建一个thread，thread处理完后退出。
from threading import Threadfrom time import sleep
def T(dir, pattern):
"This is just a stub that simulate a dir operation"
sleep(1)
print('searching pattern %s in dir %s' % (pattern, dir))
threads = []dirs = ['a/b/c', 'a/b/d', 'b/c', 'd/f']pattern = 'hello'
for dir in dirs:
thread = Thread(target=T, args=(dir, pattern)) 1
thread.start() 2
threads.append(thread)
for thread in threads:
thread.join() 3
print('Main thread end here')
1 ：创建一个Thread对象，target参数指定这个thread待执行的函数，args参数指定target函数的输入参数
2 ：启动这个thread。 T(dir, pattern)将被调用
3 ：等待，直到这个thread结束。整个for循环表示主进程会等待所有子线程结束后再退出
程序的运行结果为：
searching pattern hello in dir a/b/csearching pattern hello in dir d/f
searching pattern hello in dir b/c
searching pattern hello in dir a/b/d
Main thread end here
可以看出由于线程是并行运行的，部分输出会交叠。但主进程的打印总在最后。
以上例子中对于每个dir都需要创建一个thread。如果dir的数目较多，则会创建太多的thread，影响运行效率。 较好的方式是限制总线程的数目。
限制线程数目
可以使用信号量（semaphore）来限制同时运行的最大线程数目。如下所示：
from threading import Thread, BoundedSemaphorefrom time import sleep
def T(dir, pattern):
"This is just a stub that simulate a dir operation"
sleep(1)
print('searching pattern %s in dir %s' % (pattern, dir))
threads = []dirs = ['a/b/c', 'a/b/d', 'b/c', 'd/f']pattern = 'hello'
maxjobs = BoundedSemaphore(2) 1def wrapper(dir, pattern):
T(dir, pattern)
maxjobs.release() 2
for dir in dirs:
maxjobs.acquire() 3
thread = Thread(target=wrapper, args=(dir, pattern))
thread.start()
threads.append(thread)
for thread in threads:
thread.join()
print('Main thread end here')
1 ：创建一个有2个资源的信号量。一个信号量代表总的可用的资源数目，这里表示同时运行的最大线程数目为2。
2 ：在线程结束时释放资源。运行在子线程中。
3 ：在启动一个线程前，先获取一个资源。如果当前已经有2个线程在运行，则会阻塞，直到其中一个线程结束。 运行在主线程中。
当限制了最大运行线程数为2后，由于只有2个线程同时运行，程序的输出更加有序，几乎总是为：
searching pattern hello in dir a/b/c
searching pattern hello in dir a/b/d
searching pattern hello in dir b/c
searching pattern hello in dir d/f
Main thread end here
以上实现中为每个子任务创建一个线程进行处理，然后通过信号量限制同时运行的线程的数目。如果子任务很多，这种方法会创建太多的线程。更好的方法 是使用线程池。
使用线程池（THREAD POOL）
即预先创建一定数目的线程，形成一个线程池。每个线程持续处理多个子任务（而不是处理一个就退出）。这样做的好处是：创建的线程数目会比较固定。
那么，每个线程处理哪些子任务呢？一种方法为：预先将所有子任务均分给每个线程。如下所示：
from threading import Threadfrom time import sleep
def T(dir, pattern):
"This is just a stub that simulate a dir operation"
sleep(1)
print('searching pattern %s in dir %s' % (pattern, dir))
dirs = ['a/b/c', 'a/b/d', 'b/c', 'd/f']pattern = 'hello'
def wrapper(dirs, pattern): 1
for dir in dirs:
T(dir, pattern)
threadsPool = [ 2
Thread(target=wrapper, args=(dirs[0:2], pattern)),
Thread(target=wrapper, args=(dirs[2:], pattern)),]
for thread in threadsPool: 3
thread.start()
for thread in threadsPool:
thread.join()
print('Main thread end here')
1 ：这个函数能够处理多个dir，将作为线程的target函数
2 ：创建一个有2个线程的线程池。并事先分配子任务给每个线程。线程1处理前两个dir，线程2处理后两个dir
3 ：启动线程池中所有线程
程序的输出结果为：
searching pattern hello in dir a/b/csearching pattern hello in dir b/c
searching pattern hello in dir d/f
searching pattern hello in dir a/b/d
Main thread end here
这种方法存在以下问题：
子任务分配可能不均。导致每个线程运行时间差别可能较大，则整体运行时长可能被拖长
只能处理所有子任务都预先知道的情况，无法处理子任务实时出现的情况
如果有一种方法，能够让线程知道当前所有的待处理子任务，线程一旦空闲，便可以从中获取一个任务进行处理，则以上问题都可以解决。任务队列便是解决方案。
使用消息队列
可以使用Queue实现一个任务队列，用于在线程间传递子任务。主线程将所有待处理子任务放置在队列中，子线程从队列中获取子任务去处理。 如下所有（注：以下代码只运行于Python 2，因为Queue只存在于Python 2） ：
from threading import Threadfrom time import sleepimport Queue
def T(dir, pattern):
"This is just a stub that simulate a dir operation"
sleep(1)
print('searching pattern %s in dir %s' % (pattern, dir))
dirs = ['a/b/c', 'a/b/d', 'b/c', 'd/f']pattern = 'hello'
taskQueue = Queue.Queue() 1
def wrapper():
while True:
try:
dir = taskQueue.get(True, 0.1) 2
T(dir, pattern)
except Queue.Empty:
continue
threadsPool = [Thread(target=wrapper) for i in range(2)] 3
for thread in threadsPool:
thread.start() 4
for dir in dirs:
taskQueue.put(dir) 5
for thread in threadsPool:
thread.join()print('Main thread end here')
1 ：创建一个任务队列
2 ：子线程从任务队列中获取一个任务。第一个参数为True，表示如果没有任务，会等待。第二个参数表示最长等待0.1秒 如果在0.1秒后仍然没有任务，则会抛出一个Queue.Empty的异常
3 ：创建有2个线程的线程池。注意target函数wrapper没有任何参数
4 ：启动所有线程
5 ：主线程将所有子任务放置在任务队列中，以供子线程获取处理。由于子线程已经被启动，则子线程会立即获取到任务并处理
程序的输出为：
searching pattern hello in dir a/b/c
searching pattern hello in dir a/b/d
searching pattern hello in dir b/c
searching pattern hello in dir d/f
从中可以看出主进程的打印结果并没有出来，程序会一直运行，而不退出。这个问题的原因是：目前的实现中，子线程为一个无限循环， 因此其永远不会终止。因此，必须有一种机制来结束子进程。
终止子进程
一种简单方法为，可以在任务队列中放置一个特殊元素，作为终止符。当子线程从任务队列中获取这个终止符后，便自行退出。如下所示，使用None作为终止符。
from threading import Threadfrom time import sleepimport Queue
def T(dir, pattern):
"This is just a stub that simulate a dir operation"
sleep(1)
print('searching pattern %s in dir %s' % (pattern, dir))
dirs = ['a/b/c', 'a/b/d', 'b/c', 'd/f']pattern = 'hello'
taskQueue = Queue.Queue()
def wrapper():
while True:
try:
dir = taskQueue.get(True, 0.1)
if dir is None: 1
taskQueue.put(dir) 2
break
T(dir, pattern)
except Queue.Empty:
continue
threadsPool = [Thread(target=wrapper) for i in range(2)]
for thread in threadsPool:
thread.start()
for dir in dirs:
taskQueue.put(dir)
taskQueue.put(None) 3
for thread in threadsPool:
thread.join()print('Main thread end here')
1 ：如果任务为终止符（此处为None），则退出
2 ：将这个终止符重新放回任务队列。因为只有一个终止符，如果不放回，则其它子线程获取不到，也就无法终止
3 ：将终止符放在任务队列。注意必须放置在末尾，否则终止符后的任务无法得到处理
修改过后，程序能够正常运行，主进程能够正常退出了。
searching pattern hello in dir a/b/csearching pattern hello in dir a/b/d
searching pattern hello in dir b/c
searching pattern hello in dir d/f
Main thread end here
总结
要并行化处理子任务，最简单的方法是为每个子任务创建一个线程去处理。这种方法的缺点是：如果子任务非常多，则需要创建的线程数目会非常多。 并且同时运行的线程数目也会较多。通过使用信号量来限制同时运行的线程数目，通过线程池来避免创建过多的线程。
与每个线程处理一个任务不同，线程池中每个线程会处理多个子任务。这带来一个问题：每个子线程如何知道要处理哪些子任务。 一种方法是预先将所有子任务均分给每个线程，而更灵活的方法则是通过任务队列，由子线程自行决定要处理哪些任务。
使用线程池时，线程主函数通常实现为一个无限循环，因此需要考虑如何终止线程。可以在任务队列中放置一个终止符来告诉线程没有更多任务， 因此其可以终止。