Python与线性代数基本概念

在Python中使用Numpy创建向量:

 x = np.array([1, 2, 3, 4])

创建3 x 3矩阵

 B = np.array([[1, 2],[3, 4],[5, 6]])

Shape形状,也可称为维度,表示矩阵中每个维度的具体数值;

 B.shape 3 x 2

转置

行向量可转置为列向量,列向量转置为行向量
如为方阵转置后行数列数不变,对于非方阵,2 x 3矩阵转置后为3 x 2矩阵

 B_t = A.T

检查转置后形状shape

 B_t.shape

矩阵加法

矩阵相加为两个矩阵对应的元素相加;

 A = np.array([1,2],[3,4])
 B = np.array([4,5],[5,6])
 C = A + B = [[5, 7],[8, 10]]

如标量与矩阵相加规则为:标量与矩阵中对应的每个元素相加;

广播

  广播为Numpy的机制,使得Numpy可以处理各个不同形状(shape)之间的操作,较小的阵列将会被扩充以匹配较大的阵列形状;
  就如上面使用标量与矩阵做相加元素,实际上Numpy把标量转成了与矩阵相同维度的矩阵与该矩阵进行相加;
  比如一个3 x 2 矩阵与一个3 x 1矩阵相加,Numpy会自动把3 x 1矩阵复制一列形成3 x2矩阵与该3 x 2矩阵相加,使得两个矩阵的shape能够匹配;

矩阵乘法

  矩阵乘法与矩阵加法规则并不一样,不是两个矩阵对应的元素相乘,而是计算矩阵行与列对应元素乘积之和;也称为点积;
  矩阵乘法是否有定义,前一个矩阵的列数必须等于后一个矩阵的行数;如n x p与p x m两个矩阵相乘结果为n x m矩阵;
  两个矩阵相乘可以看作是第一个矩阵的每一行与第二个矩阵的每一列之间的点积;
可以使用Numpy的dot()函数计算两个矩阵的乘积;

 A = [[2, 3],[3, 4]]
 B = [[1, 1],[3, 4]]
 C = np.dot(A, B)
 也可以使用 C =A.dot(B)

线性方程组

线性方程组为线性代数用来解决的重要问题之一,

 x1 – 2*x2+x3 = 0
 2*x2 - 8*x3 = 8
    -4*x1 + 5*x2 + 9*x3 = -9

矩阵B每行为上述方程的常数,A矩阵每行为方程组中的每个方程系数;

 A = np.array([[1 ,-2 ,1],[0 ,2 ,-8],[-4 ,5 9]])
 B = np.array([0 ,8 ,-9])

 Y= np.linalg.solve(A,B)= [29. 16.  3.]

单位矩阵

任何向量与单位矩阵相乘结果为他本身,单位矩阵:所有沿主对角线元素都是1,而其他所有位置元素都为0;

 np.identity(5)

逆矩阵

A为方阵,存在矩阵B使得AB=BA=I,I为单位矩阵,则称B为的逆矩阵;

对于Ax=b有

 A = np.array([[2, 3], [4,5]])

 A逆矩阵A_inv= np.linalg.inv( A )
 I = A_inv.dot( A )

行列式

 A = np.array([1 ,2 ],[4 ,5 ])
 D = np.linalg.det(A)

范数

0范数 向量中非零元素个数

 x = np.array([1, 0, -5])
 n = np.linalg.norm(x, ord = 0)

1范数 向量中所有元素绝对值之和

 x = np.array([3, 0, -4])
 n1 = np.linalg.norm(x, ord = 1)

2范数 向量各个元素平方和求平凡根

 x = np.array([3, 0, -4])
 n2 = np.linalg.norm(x, ord = 2)

矩阵的范数

1范数 又称列范数,矩阵列向量中绝对值之和的最大值;

 x = np.array([[-1, 1, 0],[-4, 3, 0],[1, 0, 1]])
 n1 = np.linalg.norm(x, ord = 1)

2范数 又称谱范数,A_t A 矩阵的最大特征值的开平方

 a = np.array([[-2, 1, 1],[-4, 3, 0],[1, 0, 2]])
 ata = np.matmul(a.T, a)
 print ("lambda  ", np.linalg.eigvals(ata))
 n2 = np.linalg.norm(a, ord = 2)
 print('norm_2  ', n2, np.sqrt(30.55403188))

F范数,Frobenius范数,计算方式为矩阵元素的绝对值的平方和再开方。

 x = np.array([[-1, 2, 0],[-4, 3, 0],[1, 0, 2]])
 nfro = np.linalg.norm(x, ord = 'fro')

∞范数,又称行和范数, 即矩阵行向量中绝对值之和的最大值。

 x = np.array([[-1, 2, 0],[-4, 3, 0],[1, 0, 2]])
 ninf = np.linalg.norm(x, ord = np.inf)

python中几种自动微分库

  简单介绍下python的几个自动求导工具,tangent、autograd、sympy;
  在各种机器学习、深度学习框架中都包含了自动微分,微分主要有这么四种:手动微分法、数值微分法、符号微分法、自动微分法,这里分别简单走马观花(hello world式)的介绍下下面几种微分框架;

sympy 强大的科学计算库,使用的是符号微分,通过生成符号表达式进行求导;求得的导数不一定为最简的,当函数较为复杂时所生成的表达式树异常复杂;

autograd自动微分先将符号微分用于基本的算子,带入数值并保存中间结果,后应用于整个函数;自动微分本质上就是图计算,容易做很多优化所以广泛应用于各种机器学习深度学习框架中;

tangent源到源(source-to-source)的自动微分框架,在计算函数f微分时他通过生成新函数f_grad来计算该函数的微分,与目前所存在的所有自动微分框架都有所不同;由于它是通过生成全新的函数来计算微分所以具有非常搞的可读性、可调式性这也是官方所说的与当前自动微分框架的重大不同;

sympy 求导

 def grad():
     # 定义表达式的变量名称
     x, y = symbols('x y')
     # 定义表达式
     z = x**2 +y**2
     # 计算z关于y对应的偏导数
     return diff(z, y)

 func = grad()

输出结果表达式z的导函数z‘=2*y

 print(func) 

把y 等于6 带入计算 结果 为12

 print(func.evalf(subs ={'y':3}))

Autograd求偏导

 import autograd.numpy as np
 from autograd import grad

 #表达式 f(x,y)=x^2+3xy+y^2
 #df/dx = 2x+3y
 #df/dy = 3x+2y
 #x=1,y=2
 #df/dx=8
 #df/dy=7
 def fun(x, y):
   z=x**2+3*x*y+y**2
   return z

 fun_grad = grad(fun)
 fun_grad(2.,1.)

输出:7.0

tangent求导

 import tangent
 def fun(x, y):
   z=x**2+3*x*y+y**2
   return z

默认为求z关于x的偏导数

 dy_dx = tangent.grad(fun)

输出偏导数值为 8 ,z’ = 2 * x,此处x传任何值都是一样的

 df(4, y=1)

可通过使用wrt参数指定求关于某个参数的偏导数,下面为求z关于y的偏导数

 df = tangent.grad(funs, wrt=([1]))

输出值为10 ,z’ = 2 *y,此处x传任何值都是一样的

 df(x=0, y=5)

上面说了那么多也没体现出tangent的核心:源到源(source-to-source)

在生成导函数的时候加入verbose=1参数,即可看到tangent为我们生成的用于计算导数的函数,默认情况下该值为0所以我们没感觉到tangent的求导与别的自动微分框架有什么区别;

 def df(x):
     z = x**2
     return z

 df = tangent.grad(df, verbose=1)
 df(x=2)

在执行完上述代码后,我们看到了tangent为我们所生成用于求导数的函数:

  def ddfdx(x, bz=1.0):
    z = x ** 2
    assert tangent.shapes_match(z, bz), 'Shape mismatch between return value (%s) and seed derivative (%s)' % (numpy.shape(z), numpy.shape(bz))
 # Grad of: z = x ** 2
  _bx = 2 * x * bz
  bx = _bx
  return bx

  ddfdx函数就是所生成的函数,从中我们也可以看到表达式z的导函数z’=2 * x,tangent就是通过执行该函数用于求得导数的;

  sympy 中的自动微分只是它强大的功能之一,autograd 从名字也可知它就是为了自动微分而生的,tangent初出茅庐2017年底Google才发布的自动微分方法也比较新颖,从17年发v0.1.8版本后也没见发版,源码更新也不够活跃;sympy、autograd比较成熟,tangent还有待观察;