Softmax.hpp

Go to the documentation of this file.

 
#pragma once
 
#include <Eigen/Dense>
 
namespace FlexNN::Activations::detail {
 
inline Eigen::MatrixXd softmax_forward(const Eigen::MatrixXd& Z) {
  Eigen::MatrixXd A(Z.rows(), Z.cols());
  for (Eigen::Index c = 0; c < Z.cols(); ++c) {
    Eigen::VectorXd col = Z.col(c);
    double m = col.maxCoeff();
    Eigen::VectorXd e = (col.array() - m).exp();
    A.col(c) = e / e.sum();
  }
  return A;
}
 
inline Eigen::MatrixXd softmax_backward_hidden(const Eigen::MatrixXd& s,
                                              const Eigen::MatrixXd& upstream) noexcept {
  Eigen::MatrixXd dZ(s.rows(), s.cols());
  for (Eigen::Index c = 0; c < s.cols(); ++c) {
    Eigen::VectorXd sv = s.col(c);
    Eigen::VectorXd up = upstream.col(c);
    double dot = sv.dot(up); // s^T * up (scalar per column)
    // J*up = diag(s)*up - s*(s^T*up) = s ⊙ up - s*dot = s ⊙ (up - dot)
    dZ.col(c) = sv.array() * up.array() - sv.array() * dot;
  }
  return dZ;
}
 
} // namespace FlexNN::Activations::detail