ReLU.hpp

Go to the documentation of this file.

 
#pragma once
 
#include <algorithm> // std::max
#include <Eigen/Dense>
 
namespace FlexNN::Activations::detail {
 
inline Eigen::MatrixXd relu_forward(const Eigen::MatrixXd& Z) {
  return Z.unaryExpr([](double x) { return std::max(0.0, x); });
}
 
inline Eigen::MatrixXd relu_backward(const Eigen::MatrixXd& dA,
                                     const Eigen::MatrixXd& Z,
                                     const Eigen::MatrixXd& /*A*/) noexcept {
  return dA.array() * (Z.array() > 0.0).cast<double>();
}
 
} // namespace FlexNN::Activations::detail