麦子学院 2017-04-25 17:30

Python中的异常重试如何解决？

回复:0 查看:2449

本文和大家分享的是在使用python 进行数据抓取中，异常重试相关解决办法，一起来看看吧，希望对大家学习python有所帮助。

　　在做数据抓取的时候，经常遇到由于网络问题导致的程序保存，先前只是记录了错误内容，并对错误内容进行后期处理。

　　原先的流程：

　　defcrawl_page(url):

　　 pass

　　deflog_error(url):

　　 pass

　　url = "" try:

　　crawl_page(url) except:

　　log_error(url)

　　改进后的流程：

　　attempts = 0

　　success = Falsewhile attempts < 3 and not success:

　　 try:

　　crawl_page(url)

　　success = True

　　 except:

　　attempts += 1

　　 if attempts == 3:

　　 break

　　最近发现的新的解决方案：retrying

　　retrying 是一个 Python 的重试包，可以用来自动重试一些可能运行失败的程序段。 retrying 提供一个装饰器函数 retry ，被装饰的函数就会在运行失败的条件下重新执行，默认只要一直报错就会不断重试。

　　importrandom

　　fromretryingimportretry

　　@retry

　　defdo_something_unreliable():

　　 if random.randint(0, 10) > 1:

　　raiseIOError("Broken sauce, everything is hosed!!!111one")

　　 else:

　　 return "Awesome sauce!"

　　printdo_something_unreliable()

　　如果我们运行have_a_try 函数，那么直到 random.randint 返回 5 ，它才会执行结束，否则会一直重新执行。

　　retry 还可以接受一些参数，这个从源码中 Retrying 类的初始化函数可以看到可选的参数：

　　· stop_max_attempt_number ：用来设定最大的尝试次数，超过该次数就停止重试

　　· stop_max_delay ：比如设置成 10000 ，那么从被装饰的函数开始执行的时间点开始，到函数成功运行结束或者失败报错中止的时间点，只要这段时间超过 10 秒，函数就不会再执行了

　　· wait_fixed ：设置在两次 retrying 之间的停留时间

　　· wait_random_min 和 wait_random_max ：用随机的方式产生两次 retrying 之间的停留时间

　　· wait_exponential_multiplier 和 wait_exponential_max ：以指数的形式产生两次 retrying 之间的停留时间，产生的值为 2^previous_attempt_number * wait_exponential_multiplier ， previous_attempt_number 是前面已经 retry 的次数，如果产生的这个值超过了 wait_exponential_max 的大小，那么之后两个 retrying 之间的停留值都为 wait_exponential_max 。这个设计迎合了 exponential backoff 算法，可以减轻阻塞的情况。

　　· 我们可以指定要在出现哪些异常的时候再去 retry ，这个要用 retry_on_exception 传入一个函数对象：

　　defretry_if_io_error(exception):

　　 return isinstance(exception, IOError)

　　@retry(retry_on_exception=retry_if_io_error)

　　defread_a_file():

　　withopen("file", "r") as f:

　　 return f.read()

　　在执行read_a_file 函数的过程中，如果报出异常，那么这个异常会以形参 exception 传入 retry_if_io_error 函数中，如果 exception 是 IOError 那么就进行 retry ，如果不是就停止运行并抛出异常。

　　我们还可以指定要在得到哪些结果的时候去retry ，这个要用 retry_on_result 传入一个函数对象：

　　defretry_if_result_none(result):

　　 return resultis None

　　@retry(retry_on_result=retry_if_result_none)

　　defget_result():

　　 return None

　　在执行get_result 成功后，会将函数的返回值通过形参 result 的形式传入 retry_if_result_none 函数中，如果返回值是 None 那么就进行 retry ，否则就结束并返回函数值。

来源：标点符