• 标量导数
• 亚导数
• 一个标量函数 对向量变量的偏导数
• 梯度向量（gradient）,这是函数对每个变量的偏导数组成的行向量，梯度指向函数值增加最快的方向
• 向量对向量求导
• 标量对标量求导，结果还是标量，
• 标量对向量求导，结果是行向量，维度(1,n)（对每个元素求偏导数，排成一行
• 标量对矩阵求导，结果是矩阵，维度(k,n)（对每个元素求偏导数，按原矩阵行列转置排列
• 向量对标量求导，结果是列向量，维度(m,1)（每个元素对标量x求导，排成一列
• 向量对向量求导，结果是矩阵，维度(m,n)（每个元素对每个元素求导，形成m行n列的雅可比矩阵
• 向量对矩阵求导，结果是三维张量，维度(m,k,n)
• 矩阵对标量求导，结果是矩阵，维度(m,l)
• 矩阵对向量求导，结果是三维张量，维度(m,l,n)（每个元素对求偏导，原m×l矩阵拓展为每个元素对应n维）
• 矩阵对矩阵求导，结果是四维张量，维度(m,l,k,n)