Tanh.hpp

Go to the documentation of this file.

 
#pragma once
 
#include <Eigen/Dense>
#include <cmath>
 
namespace FlexNN::Activations::detail {
 
inline Eigen::MatrixXd tanh_forward(const Eigen::MatrixXd& Z) {
  return Z.unaryExpr([](double x) { return std::tanh(x); });
}
 
inline Eigen::MatrixXd tanh_backward(const Eigen::MatrixXd& dA,
                                     const Eigen::MatrixXd& /*Z*/,
                                     const Eigen::MatrixXd& A) noexcept {
  return dA.array() * (1.0 - A.array().square());
}
 
} // namespace FlexNN::Activations::detail