详解Python描述符的工作原理(描述是一个)

一、

其实，在开发过程中，虽然我们没有直接使用到描述符，但是它在底层却无时不刻地被使用到，例如以下这些：

function、bound method、unbound method

装饰器property、staticmethod、classmethod

是不是都很熟悉？

这些都与描述符有着千丝万缕的关系，这篇文章我们就来看一下描述符背后的工作原理。

二、什么是描述符？

在解释什么是「描述符」之前，我们先来看一个简单的例子。

这个例子非常简单，我们在类A中定义了一个类属性x，然后打印它的值。

其实，除了直接定类属性之外，我们还可以这样定义一个类属性：

仔细看，这次类属性x不再是一个具体的值，而是一个类Ten。Ten中定义了一个__get__方法，返回具体的值。

在 Python 中，允许把一个类属性，托管给一个类，这个属性就是一个「描述符」。

换句话说，「描述符」是一个「绑定行为」的属性。

怎么理解这句话？

回忆一下，我们开发时，一般把「行为」叫做什么？是的，「行为」一般指的是一个方法。

所以我们也可以把「描述符」理解为：对象的属性不再是一个具体的值，而是交给了一个方法去定义。

可以想一下，如果我们用一个方法去定义一个属性，这么做的好处是什么？

有了方法，我们就可以在方法内实现自己的逻辑，最简单的，我们可以根据不同的条件，在方法内给属性赋予不同的值，就像下面这样：

三、描述符协议

了解了描述符的定义，现在我们把重点放到托管属性的类上。

其实，一个类属性想要托管给一个类，这个类内部实现的方法不能是随便定义的，它必须遵守「描述符协议」，也就是要实现以下几个方法：

__get__(self, obj, type=None)
__set__(self, obj, value)
__delete__(self, obj)

只要是实现了以上几个方法的其中一个，那么这个类属性就可以称作描述符。

另外，描述符又可以分为「数据描述符」和「非数据描述符」：

只定义了 __get___，叫做非数据描述符
除了定义 __get__ 之外，还定义了 __set__ 或 __delete__，叫做数据描述符

它们两者有什么区别，我会在下面详述。

现在我们来看一个包含__get__和__set__方法的描述符例子：

在这例子中，类属性age是一个描述符，它的值取决于Age类。

从输出结果来看，当我们获取或修改age属性时，调用了Age的__get__和__set__方法：

当调用p1.age时，__get__被调用，参数obj是Person实例，type是type(Person)
当调用Person.age时，__get__被调用，参数obj是None，type是type(Person)
当调用p1.age = 25时，__set__被调用，参数obj是Person实例，value是25
当调用p1.age = -1时，__set__没有通过校验，抛出ValueError

其中，调用__set__传入的参数，我们比较容易理解，但是对于__get__方法，通过类或实例调用，传入的参数是不同的，这是为什么？

这就需要我们了解一下描述符的工作原理。

四、描述符的工作原理

要解释描述符的工作原理，首先我们需要先从属性的访问说起。

在开发时，不知道你有没有想过这样一个问题：通常我们写这样的代码a.b，其背后到底发生了什么？

这里的a和b可能存在以下情况：

1.a可能是一个类，也可能是一个实例，我们这里统称为对象

2.b可能是一个属性，也可能是一个方法，方法其实也可以看做是类的属性

其实，无论是以上哪种情况，在 Python 中，都有一个统一的调用逻辑：

1.先调用__getattribute__尝试获得结果

2.如果没有结果，调用__getattr__

用代码表示就是下面这样：

我们这里需要重点关注一下__getattribute__，因为它是所有属性查找的入口，它内部实现的属性查找顺序是这样的：

1.要查找的属性，在类中是否是一个描述符

2.如果是描述符，再检查它是否是一个数据描述符

3.如果是数据描述符，则调用数据描述符的__get__

4.如果不是数据描述符，则从__dict__中查找

5.如果__dict__中查找不到，再看它是否是一个非数据描述符

6.如果是非数据描述符，则调用非数据描述符的__get__

7.如果也不是一个非数据描述符，则从类属性中查找

8.如果类中也没有这个属性，抛出AttributeError异常

写成代码就是下面这样：

如果不好理解，你最好写一个程序测试一下，观察各种情况下的属性的查找顺序。

到这里我们可以看到，在一个对象中查找一个属性，都是先从__getattribute__开始的。

在__getattribute__中，它会检查这个类属性是否是一个描述符，如果是一个描述符，那么就会调用它的__get__方法。但具体的调用细节和传入的参数是下面这样的：

如果a是一个实例，调用细节为：

所以我们就能看到上面例子输出的结果。

五、数据描述符和非数据描述符

了解了描述符的工作原理，我们继续来看数据描述符和非数据描述符的区别。

从定义上来看，它们的区别是：

只定义了__get___，叫做非数据描述符
除了定义__get__之外，还定义了__set__或__delete__，叫做数据描述符

此外，我们从上面描述符调用的顺序可以看到，在对象中查找属性时，数据描述符要优先于非数据描述符调用。

在之前的例子中，我们定义了__get__和__set__，所以那些类属性都是数据描述符。

我们再来看一个非数据描述符的例子：

这段代码，我们定义了一个相同名字的属性和方法foo，如果现在执行A().foo，你觉得会输出什么结果？

答案是abc。

为什么打印的是实例属性foo的值，而不是方法foo呢？

这就和非数据描述符有关系了。

我们执行dir(A.foo)，观察结果：

看到了吗？A的foo方法其实实现了__get__，我们在上面的分析已经得知：只定义__get__方法的对象，它其实是一个非数据描述符，也就是说，我们在类中定义的方法，其实本身就是一个非数据描述符。

所以，在一个类中，如果存在相同名字的属性和方法，按照上面所讲的__getattribute__中查找属性的顺序，这个属性就会优先从实例中获取，如果实例中不存在，才会从非数据描述符中获取，所以在这里优先查找的是实例属性foo的值。

到这里我们可以总结一下关于描述符的相关知识点：

描述符必须是一个类属性
__getattribute__是查找一个属性（方法）的入口
__getattribute__定义了一个属性（方法）的查找顺序：数据描述符、实例属性、非数据描述符、类属性
如果我们重写了__getattribute__方法，会阻止描述符的调用
所有方法其实都是一个非数据描述符，因为它定义了__get__

六、描述符的使用场景

了解了描述符的工作原理，那描述符一般用在哪些业务场景中呢？

在这里我用描述符实现了一个属性校验器，你可以参考这个例子，在类似的场景中去使用它。

首先我们定义一个校验基类Validator，在__set__方法中先调用validate方法校验属性是否符合要求，然后再对属性进行赋值。

现在，当我们对Person实例进行初始化时，就可以校验这些属性是否符合预定义的规则了。

七、function与method

我们再来看一下，在开发时经常看到的function、unbound method、bound method它们之间到底有什么区别？

来看下面这段代码：

从结果我们可以看出它们的区别：

function准确来说就是一个函数，并且它实现了__get__方法，因此每一个function都是一个非数据描述符，而在类中会把function放到__dict__中存储
当function被实例调用时，它是一个bound method
当function被类调用时，它是一个unbound method