nightmorning

交叉熵（Cross-Entropy），这个名词在神经网络中太常见了，基本上就是被用来算 Loss 的，但是用了这么久，对这个名词确有些困惑，什么是”交叉“，”熵“在这里又是指什么？

傻子都能看懂的交叉熵解释

1. 信息与熵 ”熵“，Entropy，这个名词在这里指的是香农教主创建的信息论中的”信息熵“，这里不深究信息论中那一大堆让人眼花缭乱的数学公式，但从语义上解释什么是信息、什么是熵。 信息 信息时代，信息为王，但是信息到底是个啥呢，有没有比较符合理工科直男们思维的定义嘞？有的，思考一下两条消息： 地 […]

 AI
1.39k 0 69

你已到达了世界的尽头(｡・`ω´･)！

Don`t copy text!