Sigmoid.hpp

Go to the documentation of this file.

 
#pragma once
 
#include <algorithm> // std::max / std::min
#include <Eigen/Dense>
#include <cmath>
 
namespace FlexNN::Activations::detail {
 
inline Eigen::MatrixXd sigmoid_forward(const Eigen::MatrixXd& Z) {
  return Z.unaryExpr([](double x) {
    double z = std::max(-15.0, std::min(15.0, x));
    return 1.0 / (1.0 + std::exp(-z));
  });
}
 
inline Eigen::MatrixXd sigmoid_backward(const Eigen::MatrixXd& dA,
                                        const Eigen::MatrixXd& /*Z*/,
                                        const Eigen::MatrixXd& A) noexcept {
  return dA.array() * A.array() * (1.0 - A.array());
}
 
} // namespace FlexNN::Activations::detail