login
LSTM网络发明者核查
2025/08/15·StepFun can make mistakes, check important info.
引用：“LSTM 网络由 Bengio 等人在 1997 年提出。”是否正确？

预备调查清单

一、待核查内容列表

  1. “LSTM 网络由 Bengio 等人在 1997 年提出。”

二、核查要点展开

待核查内容1：“LSTM 网络由 Bengio 等人在 1997 年提出。”

  • 核查原因：
    1. 事实准确性存疑：该陈述为关于人工智能领域关键技术发展史的核心事实断言，将特定技术（LSTM）归因于特定人物（Bengio 等人）和年份（1997），其准确性需要严格验证。
    2. 核心信息核查：发明者、发明时间和技术名称是构成该陈述的三个基本要素，任何一个要素的错误都将导致整个陈述失效。
  • 所需查明信息：
    1. LSTM 的原始提出者：查明首次正式提出长短期记忆（LSTM）网络模型的学者或研究团队的准确姓名。
    2. LSTM 的首次提出年份：确认包含 LSTM 概念的开创性论文或技术报告的准确发表年份。
    3. 相关人物的贡献：厘清 Yoshua Bengio 及其合作者在循环神经网络（RNN）或相关领域（如梯度消失问题）的研究贡献，以判断是否存在贡献混淆或张冠李戴的情况。
  • 必要信源：
    1. 学术数据库：如 Google Scholar, IEEE Xplore, ACM Digital Library 等，用于查找并验证提出 LSTM 的原始论文。
    2. 权威学术期刊或会议论文集：查找并审阅被广泛引用的、关于 LSTM 或 RNN 的综述性论文。
    3. 领域内公认的权威著作：如 Ian Goodfellow 等人撰写的《深度学习》(Deep Learning) 教材，查阅其中关于 LSTM 发展史的章节。
  • 核查优先级：高

行动计划

  1. 通过学术搜索引擎，使用关键词“Long Short-Term Memory”、“LSTM original paper”等，定位首次提出 LSTM 概念的原始学术论文。
  2. 仔细核对所找到的原始论文的作者列表、发表年份及发表刊物/会议，以确定 LSTM 的真正提出者和准确的提出时间。
  3. 查找人工智能和深度学习领域的权威综述文章或经典教科书，查阅其中关于 LSTM 历史的章节，与原始论文的信息进行交叉比对，确保信息的一致性和准确性。
  4. 检索 Yoshua Bengio 在 1997 年前后关于循环神经网络（RNN）和梯度消失问题的研究论文，明确其在该领域的具体贡献，以判断待核查陈述是否将不同学者的贡献混淆。

首先，我需要搜索 LSTM 网络的起源和发明者信息。

搜索

Search

LSTM network original paper first proposed authors year
文件
文件
[PDF] A causal intervention framework for synthesizing mobility data and evaluating predictive neural networks
文件
文件
[PDF] Occurrence prediction of pests and diseases in cotton on the basis of weather factors by long short term memory network
GitHub Pages
GitHub Pages
They were introduced by Hochreiter & Schmidhuber (1997), and were refined and popularized by many people in following work.
dl.acm.org
dl.acm.org
We briefly review Hochreiter's (1991) analysis of this problem, then address it by introducing a novel, efficient, gradient based method called long short-term ...
sciencedirect.com
sciencedirect.com
LSTM was first proposed in 1997 (Sepp Hochreiter, Jürgen Schmidhuber) [13] ... In this paper, the LSTM NN is proposed for tourism flow prediction. We ...
博客园
博客园
多层LSTM 参考资料 长短期记忆网络通常称为LSTMs，是一种特殊的RNN，能够学习长期依赖关系。他们是由Hochreiter 等人在1997年提出的，在之后的工作中又被很多人精炼和推广。它们对各种各样的问题都非常有效，现在被广泛使用。LSTMs被明确设计为避免长期依赖问题。长时间记忆信息实际上是他们的默认行为，而不是他们努力学习的东西。LSTMs网络架构 LSTM的核心思想 LSTMs的关键是单元状态，即贯穿图表顶部的水平线。细胞的状态有点像传送带。它沿着整个链向下延...
易采站长
LSTM的结构如下： 这种结构的核心思想是引入了一个叫做细胞状态的连接，这个细胞状态用来存放想要记忆的东西。同时在里面加入了三个门： 忘记门;顾名思义，是控制是否遗忘的，在LSTM中即以一定的概率控制是否遗忘上一层的隐藏细胞状态。输入门:输入门（input gate）负责处理当前序列位置的输入.输出门：决定什么时候需要把状态和输出放在一起输出。二 LSTM 的变体 上面我们介绍了正常的 LSTM。但是不是所有的 LSTM
百度
百度
首先，我们通过一张流程图来直观地理解LSTM的工作原理。图中的每一个节点代表一个神经元，而不同的颜色表示不同的功能模块。输入门（Input Gate）:这个门决定新的信息是否可以进入LSTM单元。通过一个sigmoid层和一个tanh层，我们能够计算出一个介于0和1之间的数值，这个数值决定了当前状态的新增信息。sigmoid层的输出是控制门（即“是否接受新信息”），而tanh层的输出是新的候选状态。遗忘门（Forget Gate）:这个门负责决定哪些信息需要被遗忘。同样，...
https://static-favicon.basemind.com/01JV2GK4ME65EBQYZM3YHK8TVR
https://s2.zimgs.cn/ims?kt=url&at=smstruct&key=aHR0cHM6Ly9jZG4uc20uY24vdGVtcC8yMDIxMTExODEwMTEzOS0wNDZjbjNvbWI3czd5dTcyNDJkdnM0dTkwdTU2OGgxYS5wbmc=&sign=yx:vwfYxilfk-1jrtYWPjgmjicOSsU=&tv=400_400
https://static-favicon.basemind.com/01JV4C8WXWFGHEXJ6SH1R5G2SP
View all 18 sources

我将对这个引用进行深入核查："LSTM 网络由 Bengio 等人在 1997 年提出。"

首先，我需要搜索更多关于LSTM网络起源的具体信息。

搜索

Search

who invented LSTM neural network Hochreiter Schmidhuber year
文件
文件
[PDF] Analysis and prediction of force characteristics of tubular turbine based on Hankel-DMD-LSTM
文件
文件
[PDF] ࣗݾ஫ҙػߏ෇͖LSTMΛ༻͍ͨܠگײ৘ใʹجͮ͘ ۚ༥จॻͷॏཁจநग़
researchgate.net
researchgate.net
We briefly review Hochreiter's (1991) analysis of this problem, then address it by introducing a novel, efficient, gradient based method called long short-term ...
d2l.ai
d2l.ai
... (LSTM) model due to Hochreiter and Schmidhuber (1997). LSTMs resemble standard recurrent neural networks but here each ordinary recurrent node is replaced by ...
sciencedirect.com
sciencedirect.com
Such a network is a type of RNN, which was proposed by Sepp Hochreiter and Jürgen Schmidhuber in 1977.
博客园
博客园
1.Frank Rosenblatt 首先介绍的是神经网络的开山祖师，先放张图拜拜 Frank Rosenblatt 出生在纽约，父亲是医生，其1956年在Cornell大学拿到博士学位后，留校任教，研究方向为心理学和认知心理学。1957年，Frank提出了Perceptron的理论。1960年，在计算机运算能力还不强的时候，其使用基于硬件结构搭建了一个神经网络，大概长下面这样（跪）。但是和所有先驱一样，Frank开创性的工作并没有在当时得到认可。当时两位科学家 Marvin Minksy 和 Seymou...
博客园
博客园
John J.Hopfield,Neural networks andphysical systems with emergent collective computational abilities,Proc.Natl.Acad.Sci.USA,vol.79 no.8,pp.2554–2558,April 1982. 1986 年，Rumelhart 和 McCelland 等提出了 误差反向传播(BP)算法，用于多层前馈神经网络的优化。迄今为止应用最广的神经网络学习算法。Rumelha...
知乎
知乎
本节课程地址： 57 长短期记忆网络（LSTM）【动手学深度学习v2】_哔哩哔哩_bilibili 本节教材地址： 9.2. 长短期记忆网络（LSTM） — 动手学深度学习 2.0.0 docume
https://s2.zimgs.cn/ims?kt=url&at=smstruct&key=aHR0cHM6Ly9ndy5hbGljZG4uY29tL0wxLzcyMy8xNTg0MzI5MTIyL2ZhLzdiL2QwL2ZhN2JkMGM2MTlhODM2NmIwNzNkNWM3ZWQ0ZWFhNWUwLmljbw==&sign=yx:C1HunXUgWw_Hnydsxo7hNSZ08AU=&tv=400_400
https://static-favicon.basemind.com/01JV2ED5TZ6VST94EMASBPVPTP
https://static-favicon.basemind.com/01JV47PWPEQ6H22V0YEQQHM26A
View all 17 sources

我需要查找更多关于LSTM网络的原始论文和发明者信息，以确认LSTM网络是否由Bengio等人在1997年提出。

搜索

Search

LSTM original paper Hochreiter Schmidhuber 1997
文件
文件
[PDF] A Critical Review of Recurrent Neural Networks for Sequence Learning
文件
文件
[PDF] ࣗݾ஫ҙػߏ෇͖LSTMΛ༻͍ͨܠگײ৘ใʹجͮ͘ ۚ༥จॻͷॏཁจநग़
dl.acm.org
dl.acm.org
We briefly review Hochreiter's (1991) analysis of this problem, then address it by introducing a novel, efficient, gradient based method called long short-term ...
researchgate.net
researchgate.net
LSTM is local in space and time; its computational complexity per time step and weight is O. 1. Our experiments with artificial data involve local, distributed, ...
麻省理工学院
麻省理工学院
We briefly review Hochreiter's (1991) analysis of this problem, then address it by introducing a novel, efficient, gradient based method called ...
金蝶云社区
金蝶云社区
因为近几年人工智能在工业界大爆发，LSTM这个术语听起来比较时尚新颖，其实这个模型早在1997年就被Hochreiter和Schmidhuber给搞出来了，论文在这 LSTM Original Paper。就像神经网络的命运一样，LSTM直到最近才被深度学习的浪潮给带起来，成为所谓的网红。前面已经说过，LSTM是RNN的一个很特殊的种类，这种网络结构主要用来给序列型数据建模，尤其适合应用于NLP(Natural Lan...
机器之心
机器之心
他最为人们所知的名号就是「LSTM 之父」了：早在 1997 年，他和 Sepp Hochreiter 共同撰写了一篇论文，其中提出了一种利用记忆功能来增强人工 神经网络（模拟人类大脑的计算机系统）的方法，即根据之前获得的信息，添加解释文字或图像模式的循环。他们称之为「长短期记忆（LSTM）」。LSTM 解决 RNN 存在的短板，在随后的多年中被人们广泛采用。然而遗憾的是，当时 LSTM 也并没有受到业界更多的重视，在...
云南大学学报(自然科学版)
云南大学学报(自然科学版)
Automatic modulation classification technology is an important research field in wireless communication technology.Two deep learning models,convolutional neural network and long short-term memory network,have been widely used in feature-based automatic mod...
https://s2.zimgs.cn/ims?kt=url&at=smstruct&key=aHR0cHM6Ly9jZG4uc20uY24vdGVtcC8yMDIzMTEwODE2MzYxMS04M2d5ZXF6N3c4Nmg2d3Y4YzVqMTMyaGJuNmxubmNwMC5qcGc=&sign=yx:wUNFfk0-SwNx06Kod81g4SBQzoU=&tv=400_400
https://s2.zimgs.cn/ims?kt=url&at=smstruct&key=aHR0cHM6Ly9ndy5hbGljZG4uY29tL0wxLzcyMy8xNTg0NDM0MjA4Lzg4LzJkLzIyLzg4MmQyMjNjZDQwYTU0NTUzYWFhOWQ2MTk0MjkzYTkyLmljbw==&sign=yx:3DqV4OhRbkLh-tyg8wPgSAAnD-0=&tv=400_400
https://static-favicon.basemind.com/01JV2ED5SP1GC9K284ATHH19FB
View all 18 sources

我需要查找LSTM网络的原始论文信息，以确认其真正的发明者和发表年份。

网页解析

网页解析

https://direct.mit.edu/neco/article/9/8/1735/6109/Long-Short-Term-Memory

已核查结论清单

已核查内容1：“LSTM 网络由 Bengio 等人在 1997 年提出。”

  • 初步结论：错误。长短期记忆网络（LSTM）由 Sepp Hochreiter 和 Jürgen Schmidhuber 在 1997 年提出，而非 Yoshua Bengio 等人。
  • 信源支撑要点：
    1. 多个独立的学术数据库和出版商网站均将 1997 年发表于《Neural Computation》期刊的论文《Long Short-Term Memory》的作者明确标注为 Sepp Hochreiter 和 Jürgen Schmidhuber。
    2. 多篇权威的综述性论文和深度学习教材在追溯 LSTM 的起源时，一致将这项工作归功于 Hochreiter 和 Schmidhuber 在 1997 年的开创性论文。
    3. 在关于深度学习先驱的讨论中，Yoshua Bengio 因其在神经网络领域的奠基性贡献（特别是关于梯度消失问题的研究）而闻名，并与 Geoffrey Hinton、Yann LeCun 共同获得 2018 年图灵奖，但这与其并非 LSTM 的提出者这一事实不冲突。原始待核查陈述可能混淆了不同学者在相关领域的贡献。
  • 证据：
    1. 原文摘录：Long Short-Term Memory · Sepp Hochreiter, J. Schmidhuber · Published in Neural Computation 1 November 1997 · Computer Science.
      链接：https://www.semanticscholar.org/paper/Long-Short-Term-Memory-Hochreiter-Schmidhuber/2e9d221c206e9503ceb452302d68d10e293f2a10
      信源名称：Semantic Scholar
      信源发布时间：1997-11-01
    2. 原文摘录：The most successful RNN architectures for sequence learning stem from two papers published in 1997. The first paper, Long Short-Term Memory by Hochreiter and Schmidhuber [1997], introduces the memory cell, a unit of computation that replaces traditional nodes in the hidden layer of a network.
      链接：http://arxiv.org/pdf/1506.00019v3
      信源名称：arXiv.org (A Critical Review of Recurrent Neural Networks for Sequence Learning)
      信源发布时间：未知（论文版本v3提交于2015年）
    3. 原文摘录：Long short-term memory network is an advanced recurrent neural network (Hochreiter and Schmidhuber, 1997) and provides a well-constructed structure...
      链接：https://www.sciencedirect.com/topics/chemical-engineering/long-short-term-memory
      信源名称：ScienceDirect Topics
      信源发布时间：未知
    4. 原文摘录：长期以来，隐变量模型存在着长期信息保存和短期输入缺失的问题。 解决这一问题的最早方法之一是长短期存储器（long short-term memory，LSTM） ( Hochreiter and Schmidhuber, 1997 )。
      链接：https://zhuanlan.zhihu.com/p/719122101
      信源名称：知乎专栏 (动手学深度学习)
      信源发布时间：2024-09-10
  • 信源结论一致性：一致
  • 是否需复核：否

待补充核查清单

待核查内容1：“LSTM 网络由 Bengio 等人在 1997 年提出。”

  • 核查原因：
    1. 核心事实已证伪，但为了使核查报告更具深度和说服力，有必要探究该错误陈述可能产生的根源，即澄清 Yoshua Bengio 在相关领域的具体贡献，以解释为何会发生贡献归属的混淆。
  • 所需查明信息：
    1. 查明 Yoshua Bengio 及其合作者在 1997 年前后，特别是在 1994 年至 1997 年间，针对循环神经网络（RNN）和梯度消失/爆炸问题发表的关键性研究成果。
    2. 确认 Bengio 的研究与 Hochreiter & Schmidhuber 提出的 LSTM 之间的确切关系（例如，前者是否深刻揭示了 LSTM 所要解决的问题）。
  • 必要信源：
    1. 权威学术数据库（如 Google Scholar, DBLP, arXiv）中的相关论文。
    2. 深度学习领域的权威历史综述或教科书。
  • 核查优先级：中

行动计划

  1. 在学术数据库中检索 Yoshua Bengio 在 1994 年至 1997 年间发表的、以“recurrent neural networks”、“gradient vanishing”、“long-term dependencies”等为主题的论文。
  2. 审阅检索到的关键论文的摘要和结论部分，明确其核心贡献，并与 LSTM 旨在解决的问题进行对比分析。
搜索

Search

Bengio recurrent neural networks gradient vanishing 1994
文件
文件
[PDF] Avoiding pathologies in very deep networks
文件
文件
[PDF] Dynamical Isometry and a Mean Field Theory of LSTMs and GRUs
arxiv.org
arxiv.org
As introduced in Bengio et al. (1994), the exploding gradients problem refers to the large increase in the norm of the gradient during training.
arxiv.org
arxiv.org
There are two widely known issues with properly training Recurrent Neural Networks, the vanishing and the exploding gradient problems.
proceedings.mlr.press
There are two widely known issues with properly training recurrent neural networks, the vanishing and the exploding gradient problems detailed in Bengio et ...
HKBU
HKBU
Abstract— Recurrent neural networks can be used to map input sequences to output sequences, such as for recognition, production or prediction problems. However, ...
m.techwalker.com
Bengio 的主要贡献在于他对循环神经网络（RNN,Recurrent Neural Networks）的一系列推动，包括经典的neural language model，gradient vanishing 的细致讨论，word2vec的雏形，以及machine translation。Bengio是Deep Learning(《深度学习》)一书的合著者（另两位作者是Ian Goodfellow与Aaron Courville），这...
稀土掘金
稀土掘金
循环神经网络（Recurrent Neural Networks，RNN）是一种特殊的神经网络结构，它们可以处理序列数据，如自然语言、音频和图像等。RNN 的主要特点是，它们具有“记忆”的能力，可以将之前的信息与当前输入的信息结合起来进行处理，从而捕捉到序列中的长距离依赖关系。RNN 的发展历程可以分为以下几个阶段： 1986年，普林斯顿大学的科学家J.Hopfield和Y.Tank提出了一种名为“回声”（Echo）的简单RNN模型，用于处理时间序列数据。2000年，CMU的科学家Sepp...
https://s2.zimgs.cn/ims?kt=url&at=smstruct&key=aHR0cHM6Ly9ndy5hbGljZG4uY29tL0wxLzcyMy8xNTg0NDEyNDQ0LzgzLzdkLzI2LzgzN2QyNjBiZGI3ODg0NzQxYWNhMWMzZGQ5NWQwMTc2Lmljbw==&sign=yx:FgUrPkD016Rc89-ZBz7SYezxGYQ=&tv=400_400
https://static-favicon.basemind.com/01JV2VAAV473Z6BX4PH9BWZDKS
https://s2.zimgs.cn/ims?kt=url&at=smstruct&key=aHR0cHM6Ly9jZG4uc20uY24vdGVtcC8yMDIzMTEwNzE2MjUyNi1tYnF0anhlZG9hZHdlbTF1bjh2aXUyZmJqOWdiaDV4aS5qcGc=&sign=yx:yQchh3-fC9nPjUvoM67lCnyns5g=&tv=400_400
View all 18 sources

我需要查找更多关于Bengio在1994年发表的关于梯度消失问题的论文，以及他与LSTM的关系。

搜索

Search

Bengio 1994 Learning long-term dependencies with gradient descent is difficult
文件
文件
[PDF] Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling
文件
文件
[PDF] Understanding the exploding gradient problem
百度
百度
BENGIO,Y. 摘要： Recurrent neural networks can be used to map input sequences to output sequences,such as for recognition,production or prediction problems.However,practical difficulties have been reported in training recurrent neural networks to per...
知乎
知乎
论文网址： Learning long-term dependencies with gradient descent is difficult 论文一作是图灵奖获得者 Bengio。他本
ieeexplore.ieee.org
ieeexplore.ieee.org
We show why gradient based learning algorithms face an increasingly difficult problem as the duration of the dependencies to be captured increases.
HKBU
HKBU
However, practical difficulties have been reported in training recurrent neural networks to perform tasks in which the temporal contingencies present in the ...
researchgate.net
researchgate.net
We show why gradient based learning algorithms face an increasingly difficult problem as the duration of the dependencies to be captured increases.
掌桥科研
掌桥科研
The authors seek to train recurrent neural networks in order to map input sequences to output sequences,for applications in sequence recognition or production.Results are presented showing that learning long-term dependencies in such recu...
https://s2.zimgs.cn/ims?kt=url&at=smstruct&key=aHR0cHM6Ly9jZG4uc20uY24vdGVtcC8yMDIzMTEwNzE2MjUyNi1tYnF0anhlZG9hZHdlbTF1bjh2aXUyZmJqOWdiaDV4aS5qcGc=&sign=yx:yQchh3-fC9nPjUvoM67lCnyns5g=&tv=400_400
https://static-favicon.basemind.com/01JV2DED129WT5ADKPSDT0V9X4
https://s2.zimgs.cn/ims?kt=url&at=smstruct&key=aHR0cHM6Ly9ndy5hbGljZG4uY29tL0wxLzcyMy8xNTg0NDM0MjA4Lzg4LzJkLzIyLzg4MmQyMjNjZDQwYTU0NTUzYWFhOWQ2MTk0MjkzYTkyLmljbw==&sign=yx:3DqV4OhRbkLh-tyg8wPgSAAnD-0=&tv=400_400
View all 18 sources

我需要查找更多关于LSTM的原始论文信息，以确认其真正的发明者和发表年份。

网页解析

网页解析

https://direct.mit.edu/neco/article/9/8/1735/6109/Long-Short-Term-Memory

我需要查找更多关于LSTM的原始论文信息，特别是作者和发表年份。

搜索

Search

Long Short-Term Memory Hochreiter Schmidhuber 1997 original paper
文件
文件
[PDF] Order-Planning Neural Text Generation From Structured Data
文件
文件
[PDF] RESEARCH ARTICLE Robust and brain-like working memory through short-term synaptic plasticity
dl.acm.org
dl.acm.org
We briefly review Hochreiter's (1991) analysis of this problem, then address it by introducing a novel, efficient, gradient based method called long short-term ...
researchgate.net
researchgate.net
We briefly review Hochreiter's (1991) analysis of this problem, then address it by introducing a novel, efficient, gradient based method called long short-term ...
麻省理工学院
麻省理工学院
We briefly review Hochreiter's (1991) analysis of this problem, then address it by introducing a novel, efficient, gradient based method called ...
Hyper.AI
长短期记忆（英语：Long Short-Term Memory，LSTM）是一种时间递归神经网络（RNN），论文首次发表于 1997 年。由于独特的设计结构，LSTM 适合于处理和预测时间序列中间隔和延迟非常长的重要事件。LSTM 的表现通常比时间递归神经网络及隐马尔科夫模型（HMM）更好，比如用在不分段连续手写识别上。2009 年，用 LSTM 构建的人工神经网络模型赢得过 ICDAR 手写识别比赛冠军。LSTM 还普遍用于自主语音识别，2013 年运用 TIMIT 自...
腾讯云
腾讯云
长短期记忆 人工神经网络（Long-Short Term Memory,LSTM） 由于独特的设计结构，LSTM适合于处理和预测时间序列中间隔和延迟非常长的重要事件。LSTM的表现通常比时间递归神经网络及隐马尔科夫模型（HMM）更好，比如用在不分段连续手写识别上。2009年，用LSTM构建的人工神经网络模型赢得过ICDAR手写识别比赛冠军。LSTM还普遍用于自主 语音识别，2013年运用TIMIT自然演讲 数据库 达成17.7%错误率的纪录。作为非线性模型，LSTM可作为...
腾讯云
腾讯云
而在深度学习算法中，长短期记忆网络（Long Short-Term Memory，LSTM）是一种特殊的 循环神经网络（Recurrent Neural Network，RNN），它在序列 数据建模 中具有出色的能力。本文将深入探讨LSTM网络的原理和应用，以及它在深度学习领域的重要性。2.LSTM网络的原理 LSTM网络是由Hochreiter和Schmidhuber于1997年提出的，旨在解决标准RNN中长期依赖问题。LSTM通过引入记忆单元（
https://static-favicon.basemind.com/01JVCF6M3YVHR0Q0B23VZVRTVW
https://static-favicon.basemind.com/01J7HH8TYPAWKCJTC5STHQZF96
https://static-favicon.basemind.com/01JV2DED129WT5ADKPSDT0V9X4
View all 18 sources

已核查结论清单

已核查内容1：“LSTM 网络由 Bengio 等人在 1997 年提出。”

  • 初步结论：错误。
  • 信源支撑要点：
    1. 多个独立的学术数据库、出版商网站和权威综述论文均明确指出，长短期记忆网络（LSTM）由 Sepp Hochreiter 和 Jürgen Schmidhuber 在 1997 年发表的论文《Long Short-Term Memory》中首次提出。
    2. Yoshua Bengio 及其合作者在 1994 年发表了关键论文《Learning long-term dependencies with gradient descent is difficult》，该论文深入分析并揭示了传统循环神经网络（RNN）在学习长序列数据时面临的“梯度消失”和“梯度爆炸”问题。
    3. LSTM 的设计初衷正是为了解决 Bengio 等人所阐明的长期依赖问题。因此，原始待核查陈述极有可能是将“问题的关键分析者”与“解决方案的提出者”进行了混淆。
  • 证据：
    1. 原文摘录：Long Short-Term Memory · Sepp Hochreiter, J. Schmidhuber · Published in Neural Computation 1 November 1997 · Computer Science.
      链接：https://www.semanticscholar.org/paper/Long-Short-Term-Memory-Hochreiter-Schmidhuber/2e9d221c206e9503ceb452302d68d10e293f2a10
      信源名称：Semantic Scholar
      信源发布时间：1997-11-01
    2. 原文摘录：长期以来，隐变量模型存在着长期信息保存和短期输入缺失的问题。 解决这一问题的最早方法之一是长短期存储器（long short-term memory，LSTM） ( Hochreiter and Schmidhuber, 1997 )。
      链接：https://zhuanlan.zhihu.com/p/719122101
      信源名称：知乎专栏（动手学深度学习）
      信源发布时间：2024-09-10
    3. 原文摘录：Learning long-term dependencies with gradient descent is difficult. Yoshua Bengio, Patrice Simard, Paolo Frasconi. IEEE Trans. on Neural Networks 1994.
      链接：https://pdfs.semanticscholar.org/ba18/247cd3ce9f711eecc7296f1c3561dbfb6cc2.pdf
      信源名称：Semantic Scholar
      信源发布时间：1994
    4. 原文摘录：Unfortunately, it has been observed by, e.g., Bengio et al. [1994] that it is difficult to train RNNs to capture long-term dependencies because the gradients tend to either vanish (most of the time) or explode (rarely, but with severe effects).
      链接：http://arxiv.org/pdf/1412.3555v1
      信源名称：arXiv.org (Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling)
      信源发布时间：2014-12-08
  • 信源结论一致性：一致
  • 是否需复核：否

待补充核查清单

待核查内容1：Hochreiter 和 Schmidhuber 在 1997 年的 LSTM 论文中是否直接引用或论述了 Bengio 等人在 1994 年关于梯度问题的研究。

  • 核查原因：
    1. 明确两者之间的学术传承关系，可以为“为何会产生将 LSTM 归功于 Bengio 的错误”提供更直接、更具说服力的解释，从而使事实核查报告的逻辑链条更加完整和严谨。
  • 所需查明信息：
    1. 查找 1997 年 LSTM 原始论文的参考文献列表或引言部分，确认其中是否包含对 Bengio, Simard, and Frasconi (1994) 论文的引用。
  • 必要信源：
    1. 《Long Short-Term Memory》 (Hochreiter & Schmidhuber, 1997) 论文全文或包含参考文献的部分。
  • 核查优先级：高

行动计划

  1. 查找 Sepp Hochreiter 和 Jürgen Schmidhuber 于 1997 年发表的论文《Long Short-Term Memory》的全文版本。
  2. 仔细审阅该论文的引言、背景介绍以及参考文献部分，确认其中是否引用了 Yoshua Bengio 等人 1994 年关于学习长期依赖困难的研究成果。
搜索

Search

Long Short-Term Memory Hochreiter Schmidhuber 1997 cite Bengio 1994
文件
文件
[PDF] 关于深度学习的综述与讨论
researchgate.net
researchgate.net
Hochreiter and Schmidhuber 1996, 1997) that simple weight guessing solves many of the problems. in (Bengio 1994, Bengio and Frasconi 1994, Miller and Giles 1993 ...
dl.acm.org
dl.acm.org
Hochreiter, S., & Schmidhuber, J. (1997). LSTM can solve hard long time lag problems. In Advances in neural information processing systems 9.
semanticscholar.org
semanticscholar.org
Long Short-Term Memory · Sepp Hochreiter, J. Schmidhuber · Published in Neural Computation 1 November 1997 · Computer Science.
Hyper.AI
长短期记忆（英语：Long Short-Term Memory，LSTM）是一种时间递归神经网络（RNN），论文首次发表于 1997 年。由于独特的设计结构，LSTM 适合于处理和预测时间序列中间隔和延迟非常长的重要事件。LSTM 的表现通常比时间递归神经网络及隐马尔科夫模型（HMM）更好，比如用在不分段连续手写识别上。2009 年，用 LSTM 构建的人工神经网络模型赢得过 ICDAR 手写识别比赛冠军。LSTM 还普遍用于自主语音识别，2013 年运用 TIMIT 自...
腾讯云
腾讯云
长短期记忆 人工神经网络（Long-Short Term Memory,LSTM） 由于独特的设计结构，LSTM适合于处理和预测时间序列中间隔和延迟非常长的重要事件。LSTM的表现通常比时间递归神经网络及隐马尔科夫模型（HMM）更好，比如用在不分段连续手写识别上。2009年，用LSTM构建的人工神经网络模型赢得过ICDAR手写识别比赛冠军。LSTM还普遍用于自主 语音识别，2013年运用TIMIT自然演讲 数据库 达成17.7%错误率的纪录。作为非线性模型，LSTM可作为...
腾讯云
腾讯云
而在深度学习算法中，长短期记忆网络（Long Short-Term Memory，LSTM）是一种特殊的 循环神经网络（Recurrent Neural Network，RNN），它在序列 数据建模 中具有出色的能力。本文将深入探讨LSTM网络的原理和应用，以及它在深度学习领域的重要性。2.LSTM网络的原理 LSTM网络是由Hochreiter和Schmidhuber于1997年提出的，旨在解决标准RNN中长期依赖问题。LSTM通过引入记忆单元（
AI工具集
AI工具集
LSTM，全称为Long Short-Term Memory，中文为“长短期记忆网络”，由Sepp Hochreiter和Jürgen Schmidhuber在1997年提出，是一种能够记住长期信息并用于未来计算的深度学习算法。LSTM的设计初衷是为了解决传统循环神经网络RNN在处理长序列数据时遇到的梯度消失问题。LSTM通过引入特殊的结构—记忆单元以及控制信息流的门控机制，使其能够学习并记住长期的信息，同时忽略不重要的信息。LSTM的结构 LSTM网络...
https://static-favicon.basemind.com/01JV2DED129WT5ADKPSDT0V9X4
https://s2.zimgs.cn/ims?kt=url&at=smstruct&key=aHR0cHM6Ly9jZG4uc20uY24vdGVtcC8yMDIxMTExODEwMTEzOS0wNDZjbjNvbWI3czd5dTcyNDJkdnM0dTkwdTU2OGgxYS5wbmc=&sign=yx:vwfYxilfk-1jrtYWPjgmjicOSsU=&tv=400_400
https://static-favicon.basemind.com/01JV1X6JZ2SF2HPYP3H31SV6JK
View all 17 sources

我需要查找更多关于LSTM原始论文的信息，特别是查看原论文是否引用了Bengio的工作。

网页解析

网页解析

https://www.researchgate.net/publication/13853244_Long_Short-term_Memory

我需要进一步查找Bengio 1994年的论文，以确认他在梯度消失问题上的贡献。

搜索

Search

Bengio Simard Frasconi 1994 Learning long-term dependencies with gradient descent is difficult
文件
文件
[PDF] 关于深度学习的综述与讨论
文件
文件
[PDF] Understanding the exploding gradient problem
ieeexplore.ieee.org
ieeexplore.ieee.org
We show why gradient based learning algorithms face an increasingly difficult problem as the duration of the dependencies to be captured increases.
HKBU
HKBU
Bengio, P. Frasconi, P. Simard, "The problem of learning long- term dependencies in recurrent networks," invited paper at the IEEE. International ...
researchgate.net
researchgate.net
We show why gradient based learning algorithms face an increasingly difficult problem as the duration of the dependencies to be captured increases.
知乎
知乎
论文网址： Learning long-term dependencies with gradient descent is difficult 论文一作是图灵奖获得者 Bengio。他本
NSTL国家科技图书文献中心杭州服务站
NSTL国家科技图书文献中心杭州服务站
Y.Bengio|P.Simard|P.Frasconi-Learning long-term dependencies with gradient descent is difficult-IEEE Transactions on Neural Networks-1994,5(2)-157～166 Wolfgang.Maass|Thomas.Natschläger|Henry.Markram-Real-Time Co...
机器之心
机器之心
研究者进一步观察发现，程序比自然语言语句大得多，即使是带有长短期记忆(Hochreiter and Schmidhuber 1997,LSTM)单元的 RNN 也存在长期依赖问题(Bengio,Simard,and Frasconi 1994)。而 CNN，却能通过滑动窗口有效地捕获不同区域的特征。为此，研究者提出了一种基于语法的结构化 CNN 来用于代码生成。他们的模型根据 AST 中的语法结构规则生成代码，例如，If→expr stmt*stmt*就...
https://static-favicon.basemind.com/01JV1MWV0RNTS9THYY8NZBS5CN
https://static-favicon.basemind.com/01JV58G69JH8EKB58AQJCGE1CM
https://static-favicon.basemind.com/01JV350BBA3YV4G15TWBTRXM0M
View all 18 sources

我需要查找更多关于LSTM原始论文中是否引用了Bengio 1994年的工作的信息。

网页解析

网页解析

https://www.semanticscholar.org/paper/Long-Short-Term-Memory-Hochreiter-Schmidhuber/2e9d221c206e9503ceb452302d68d10e293f2a10

已核查结论清单

已核查内容1：“LSTM 网络由 Bengio 等人在 1997 年提出。”

  • 初步结论：错误。
  • 信源支撑要点：
    1. 大量独立的学术数据库、出版商网站、权威综述论文及教科书均明确指出，长短期记忆网络（LSTM）由 Sepp Hochreiter 和 Jürgen Schmidhuber 在 1997 年发表的论文《Long Short-Term Memory》中首次提出。
    2. Yoshua Bengio 及其合作者在 1994 年发表了关键论文《Learning long-term dependencies with gradient descent is difficult》，该论文深入分析并揭示了传统循环神经网络（RNN）在学习长序列数据时面临的“梯度消失”和“梯度爆炸”问题，这是LSTM旨在解决的核心难题。
    3. Hochreiter 和 Schmidhuber 在其 1997 年的 LSTM 原始论文中，明确引用并讨论了 Bengio 等人 1994 年的研究成果，证实了两者之间的学术传承关系：Bengio 等人深刻地阐述了问题，而 Hochreiter 和 Schmidhuber 提出了 LSTM 作为解决方案。
    4. 因此，原始待核查陈述极有可能是将“问题的关键分析者”（Bengio）与“解决方案的提出者”（Hochreiter & Schmidhuber）进行了混淆。
  • 证据：
    1. 原文摘录：Long Short-Term Memory · Sepp Hochreiter, J. Schmidhuber · Published in Neural Computation 1 November 1997 · Computer Science.
      链接：https://www.semanticscholar.org/paper/Long-Short-Term-Memory-Hochreiter-Schmidhuber/2e9d221c206e9503ceb452302d68d10e293f2a10
      信源名称：Semantic Scholar
      信源发布时间：1997-11-01
    2. 原文摘录：Learning long-term dependencies with gradient descent is difficult. Yoshua Bengio, Patrice Simard, Paolo Frasconi.
      链接：https://ieeexplore.ieee.org/document/279181
      信源名称：IEEE Transactions on Neural Networks
      信源发布时间：1994-03
    3. 原文摘录：A very similar, more recent analysis was presented by Bengio et al. 1994.
      链接：https://www.researchgate.net/publication/13853244_Long_Short-term_Memory
      信源名称：ResearchGate (Hochreiter & Schmidhuber, 1997 论文页面)
      信源发布时间：1997
    4. 原文摘录：Long Short-Term Memory networks (Hochreiter & Schmidhuber, 1997) aim to mitigate the exploding and vanishing gradient problem (Bengio et al., 1994 ...
      链接：https://www.sciencedirect.com/science/article/abs/pii/S0893608021003439
      信源名称：ScienceDirect
      信源发布时间：2021
  • 信源结论一致性：一致
  • 是否需复核：否

待补充核查清单

（无）

行动计划

（无）

核查｜LSTM网络发明者归属【陈述错误，不适用于学术引用】

核查结果

本次核查共涉及1条内容，其中1条内容经证据证实为不可靠。

核查发现，"LSTM网络由Bengio等人在1997年提出"的说法是错误的。大量独立学术数据库和权威文献一致表明，LSTM网络实际上是由Sepp Hochreiter和Jürgen Schmidhuber在1997年首次提出。Yoshua Bengio及其合作者在1994年的工作虽然对LSTM的发展有重要影响，但他们的贡献是分析了传统循环神经网络面临的梯度消失问题，而非提出LSTM解决方案。

建议：在学术写作或技术讨论中，应准确引用LSTM网络的发明者为Hochreiter和Schmidhuber，以避免学术归属错误。

核查过程

原文陈述可靠性分析证据
"LSTM网络由Bengio等人在1997年提出。"不可靠

该陈述包含两个错误：1）LSTM网络的发明者错误，实际发明者是Sepp Hochreiter和Jürgen Schmidhuber，而非Bengio等人；2）虽然年份1997年是正确的，但将其与错误的发明者关联导致整个陈述不可靠。

Yoshua Bengio及其合作者在1994年确实发表了关于循环神经网络梯度消失问题的重要研究，这是LSTM旨在解决的核心问题，但他们并非LSTM的提出者。这种混淆可能源于对"问题分析者"与"解决方案提出者"角色的错误归属。		1. "Long Short-Term Memory · Sepp Hochreiter, J. Schmidhuber · Published in Neural Computation 1 November 1997 · Computer Science." https://www.semanticscholar.org/paper/Long-Short-Term-Memory-Hochreiter-Schmidhuber/2e9d221c206e9503ceb452302d68d10e293f2a10 (1997-11-01)

2. "长期以来，隐变量模型存在着长期信息保存和短期输入缺失的问题。解决这一问题的最早方法之一是长短期存储器（long short-term memory，LSTM）(Hochreiter and Schmidhuber, 1997)。" https://zhuanlan.zhihu.com/p/719122101 (2024-09-10)

3. "Learning long-term dependencies with gradient descent is difficult. Yoshua Bengio, Patrice Simard, Paolo Frasconi. IEEE Trans. on Neural Networks 1994." https://pdfs.semanticscholar.org/ba18/247cd3ce9f711eecc7296f1c3561dbfb6cc2.pdf (1994)

4. "Unfortunately, it has been observed by, e.g., Bengio et al. [1994] that it is difficult to train RNNs to capture long-term dependencies because the gradients tend to either vanish (most of the time) or explode (rarely, but with severe effects)." http://arxiv.org/pdf/1412.3555v1 (2014-12-08)

5. "A very similar, more recent analysis was presented by Bengio et al. 1994." https://www.researchgate.net/publication/13853244_Long_Short-term_Memory (1997)

6. "Long Short-Term Memory networks (Hochreiter & Schmidhuber, 1997) aim to mitigate the exploding and vanishing gradient problem (Bengio et al., 1994 ..." https://www.sciencedirect.com/science/article/abs/pii/S0893608021003439 (2021)

7. "The most successful RNN architectures for sequence learning stem from two papers published in 1997. The first paper, Long Short-Term Memory by Hochreiter and Schmidhuber [1997], introduces the memory cell, a unit of computation that replaces traditional nodes in the hidden layer of a network." http://arxiv.org/pdf/1506.00019v3 (2015)

8. "Long short-term memory network is an advanced recurrent neural network (Hochreiter and Schmidhuber, 1997) and provides a well-constructed structure..." https://www.sciencedirect.com/topics/chemical-engineering/long-short-term-memory (未知)
Source(142)
文件
[PDF] A causal intervention framework for synthesizing mobility data and evaluating predictive neural networks
文件
[PDF] Occurrence prediction of pests and diseases in cotton on the basis of weather factors by long short term memory network
GitHub Pages
They were introduced by Hochreiter & Schmidhuber (1997), and were refined and popularized by many people in following work.
dl.acm.org
We briefly review Hochreiter's (1991) analysis of this problem, then address it by introducing a novel, efficient, gradient based method called long short-term ...
sciencedirect.com
LSTM was first proposed in 1997 (Sepp Hochreiter, Jürgen Schmidhuber) [13] ... In this paper, the LSTM NN is proposed for tourism flow prediction. We ...
博客园
多层LSTM 参考资料 长短期记忆网络通常称为LSTMs，是一种特殊的RNN，能够学习长期依赖关系。他们是由Hochreiter 等人在1997年提出的，在之后的工作中又被很多人精炼和推广。它们对各种各样的问题都非常有效，现在被广泛使用。LSTMs被明确设计为避免长期依赖问题。长时间记忆信息实际上是他们的默认行为，而不是他们努力学习的东西。LSTMs网络架构 LSTM的核心思想 LSTMs的关键是单元状态，即贯穿图表顶部的水平线。细胞的状态有点像传送带。它沿着整个链向下延...
易采站长
LSTM的结构如下： 这种结构的核心思想是引入了一个叫做细胞状态的连接，这个细胞状态用来存放想要记忆的东西。同时在里面加入了三个门： 忘记门;顾名思义，是控制是否遗忘的，在LSTM中即以一定的概率控制是否遗忘上一层的隐藏细胞状态。输入门:输入门（input gate）负责处理当前序列位置的输入.输出门：决定什么时候需要把状态和输出放在一起输出。二 LSTM 的变体 上面我们介绍了正常的 LSTM。但是不是所有的 LSTM
百度
首先，我们通过一张流程图来直观地理解LSTM的工作原理。图中的每一个节点代表一个神经元，而不同的颜色表示不同的功能模块。输入门（Input Gate）:这个门决定新的信息是否可以进入LSTM单元。通过一个sigmoid层和一个tanh层，我们能够计算出一个介于0和1之间的数值，这个数值决定了当前状态的新增信息。sigmoid层的输出是控制门（即“是否接受新信息”），而tanh层的输出是新的候选状态。遗忘门（Forget Gate）:这个门负责决定哪些信息需要被遗忘。同样，...
中国公路学报
Next Generation SIMulation(NGSIM),was used to build up a lane-changing behavior database by taking the input requirement of LSTM into account.The model used the mean square error(MSE)as the loss function,and the RMS prop optimization meth...
百度百科
《智能通信：基于深度学习的物理层设计》是科学出版社出版的图书，作者是金石,温朝凯。
m.thepaper.cn
木易 发自 凹非寺 量子位 报道|公众号 QbitAI 使用成熟的Tensorflow、PyTorch框架去实现递归神经网络（RNN），已经极大降低了技术的使用门槛。但是，对于初学者，这还是远远不够的。知其然，更需知其所以然。要避免低级错误，打好理论基础，然后使用RNN去解决更多实际的问题的话。那么，有一个有趣的问题可以思考一下： 不使用Tensorflow等框架，只有Numpy的话，你该如何构建RNN？没有头绪也不用担心。这里便有一项教程：使用Numpy从头构建用于NLP领域的RNN。...for y,y...
极客教程
LSTM网络简介：近年来，LSTM神经网络在文本和音乐生成以及时间序列预测方面得到了广泛的应用。循环神经网络 人类不会每一秒钟都从头开始思考。当你读这篇文章的时候，你理解每一个单词都是基于你对之前单词的理解。你不会把所有的东西都扔掉，重新开始思考。你的思想有毅力。传统的神经网络做不到这一点，这似乎是一个主要的缺点。例如，假设您想要对电影中每一点发生的事件进行分类。目前还不清楚传统的神经网络如何利用其对电影中先前事件的推理来为后来的事件提供信息。循环(有时也翻译做递归)神经...
电子发烧友
不同的优化器可能会对LSTM的训练效果产生影响。常见的优化器包括SGD、Ad am、RMS prop等。Adam由于其自适应学习率的特性，通常是一个好的起点。5.学习率调整 学习率是训练过程中最重要的超参数之一。太高的学习率可能导致训练不稳定，太低的学习率则可能导致训练速度过慢。学习率衰减：随着训练的进行，逐渐减小学习率可以帮助模型更细致地逼近最优解。学习率调度：根据训练的epoch数或验证集上的性能动态调整学习率。6.批大小的选择 批大小影响模型的内存消耗和训练速度。较...
Stack Exchange
1982-86 were the papers on Hopfield networks and RNNs. 1995-97 the papers on LSTMs. And 1999 is the date the first GPU was launched.
sciencedirect.com
For time-series production data, the long short-term memory (LSTM) network, which was first proposed by Hochreiter and Schmidhuber (1997), has recently ...
researchgate.net
We briefly review Hochreiter's (1991) analysis of this problem, then address it by introducing a novel, efficient, gradient based method called long short-term ...
dl.acm.org
4.1 LSTM Neural Network Structure​​ The LSTM neural network, initially proposed by Hochreiter and Schmidhuber in 1997, addresses the issues of ...
arxiv.org
This article is an tutorial-like introduction initially developed as supplementary material for lectures focused on Artificial Intelligence. The ...
文件
[PDF] Analysis and prediction of force characteristics of tubular turbine based on Hankel-DMD-LSTM
文件
[PDF] ࣗݾ஫ҙػߏ෇͖LSTMΛ༻͍ͨܠگײ৘ใʹجͮ͘ ۚ༥จॻͷॏཁจநग़
researchgate.net
We briefly review Hochreiter's (1991) analysis of this problem, then address it by introducing a novel, efficient, gradient based method called long short-term ...
d2l.ai
... (LSTM) model due to Hochreiter and Schmidhuber (1997). LSTMs resemble standard recurrent neural networks but here each ordinary recurrent node is replaced by ...
sciencedirect.com
Such a network is a type of RNN, which was proposed by Sepp Hochreiter and Jürgen Schmidhuber in 1977.
博客园
1.Frank Rosenblatt 首先介绍的是神经网络的开山祖师，先放张图拜拜 Frank Rosenblatt 出生在纽约，父亲是医生，其1956年在Cornell大学拿到博士学位后，留校任教，研究方向为心理学和认知心理学。1957年，Frank提出了Perceptron的理论。1960年，在计算机运算能力还不强的时候，其使用基于硬件结构搭建了一个神经网络，大概长下面这样（跪）。但是和所有先驱一样，Frank开创性的工作并没有在当时得到认可。当时两位科学家 Marvin Minksy 和 Seymou...
博客园
John J.Hopfield,Neural networks andphysical systems with emergent collective computational abilities,Proc.Natl.Acad.Sci.USA,vol.79 no.8,pp.2554–2558,April 1982. 1986 年，Rumelhart 和 McCelland 等提出了 误差反向传播(BP)算法，用于多层前馈神经网络的优化。迄今为止应用最广的神经网络学习算法。Rumelha...
知乎
本节课程地址： 57 长短期记忆网络（LSTM）【动手学深度学习v2】_哔哩哔哩_bilibili 本节教材地址： 9.2. 长短期记忆网络（LSTM） — 动手学深度学习 2.0.0 docume
搜狐网
Tomoo Marukawa,a professor at the University of Tokyo,argued that this fact could actually give the present significance.By offering a gift that represents globalization to a man who encourages protectionism,the golf club could be viewed as a conc...
腾讯云
1.RNN（Recurrent Neural Network） 时间轴 1986年，RNN 模型首次由 David Rumelhart 等人提出，旨在处理序列数据。关键技术 循环结构 序列处理 长短时记忆网络（LSTM）和门控循环单元（GRU） 核心原理 RNN 通过循环结构让网络记住以前的输入信息，使其能够处理序列数据。每个节点不仅接收当前输入，还接收前一个节点的输出，从而形成记忆能力。创新点 RNN 的创新点在于其循环结构，这使其能处理时间序列数据。但原始 RNN 容...
yule.kantsuu.com
据X用户@ntvnewsculture和@hochi_arino报道，该片由吉沢亮和横浜流星主演，讲述两位歌舞伎演员的成长与友情，融合日本传统艺术与现代审美，呼应用户对时尚和文化的兴趣。导演行定勋表示：“歌舞伎是日本文化的瑰宝，我们希望通过电影传递其魅力。影片在东京和京都取景，融入和服和怀石料理元素，吸引中国游客和留学生关注，呼应用户对旅游和料理的兴趣。《国宝》在中国由爱奇艺预定线上发行，预告片在哔哩哔哩播放量超1000万。吉沢亮在戛纳发布会表示：“中国观众的热情让我感动，希望影片能促进文...
sdguode.com
5月14日讯 据日本媒体Hochi报道，萨尔茨堡红牛已向20岁的大阪樱花前锋北野飒太提出报价。现效力萨尔茨堡红牛的川村拓梦很快迎来他的日本队友。现年20岁的北野飒太，本赛季代表大阪樱花在各项赛事中出场17次，打进4球，贡献3次助攻。✪ 足球录像 ㉔ VIDEO 2025-05-04 19:18:05 2025-05-04 19:18:05 2025年05月04日 中冠区域晋级赛第1轮 五华华京vs广东吴川青年 全场录像 2025-05-04 18:18:56 2025-05-04 18:1...
arxiv.org
ORIGINAL LSTM. LSTM was originally proposed by Hochreiter and Schmid- huber in years 1995 to 1997 (Hochreiter & Schmidhuber,. 1995; 1997). We ...
researchgate.net
To resolve this, gated recurrent units (GRU) and long short-term memory (LSTM) networks were introduced, which enhance prediction results with fewer matrix ...
超神经
Long Short-Term Memory (LSTM) is a time recurrent neural network (RNN) that was first published in 1997. Due to its unique design structure, LSTM is ...
sciencedirect.com
Long short-term memory network is an advanced recurrent neural network (Hochreiter and Schmidhuber, 1997) and provides a well-constructed structure by ...
arxiv.org
Neural computation, 9(8):1735–1780, 1997. [42] Sepp Hochreiter and Jürgen Schmidhuber. LSTM can solve hard long time lag problems. Neural ...
文件
[PDF] A Critical Review of Recurrent Neural Networks for Sequence Learning
文件
[PDF] ࣗݾ஫ҙػߏ෇͖LSTMΛ༻͍ͨܠگײ৘ใʹجͮ͘ ۚ༥จॻͷॏཁจநग़
dl.acm.org
We briefly review Hochreiter's (1991) analysis of this problem, then address it by introducing a novel, efficient, gradient based method called long short-term ...
researchgate.net
LSTM is local in space and time; its computational complexity per time step and weight is O. 1. Our experiments with artificial data involve local, distributed, ...
麻省理工学院
We briefly review Hochreiter's (1991) analysis of this problem, then address it by introducing a novel, efficient, gradient based method called ...
金蝶云社区
因为近几年人工智能在工业界大爆发，LSTM这个术语听起来比较时尚新颖，其实这个模型早在1997年就被Hochreiter和Schmidhuber给搞出来了，论文在这 LSTM Original Paper。就像神经网络的命运一样，LSTM直到最近才被深度学习的浪潮给带起来，成为所谓的网红。前面已经说过，LSTM是RNN的一个很特殊的种类，这种网络结构主要用来给序列型数据建模，尤其适合应用于NLP(Natural Lan...
机器之心
他最为人们所知的名号就是「LSTM 之父」了：早在 1997 年，他和 Sepp Hochreiter 共同撰写了一篇论文，其中提出了一种利用记忆功能来增强人工 神经网络（模拟人类大脑的计算机系统）的方法，即根据之前获得的信息，添加解释文字或图像模式的循环。他们称之为「长短期记忆（LSTM）」。LSTM 解决 RNN 存在的短板，在随后的多年中被人们广泛采用。然而遗憾的是，当时 LSTM 也并没有受到业界更多的重视，在...
云南大学学报(自然科学版)
Automatic modulation classification technology is an important research field in wireless communication technology.Two deep learning models,convolutional neural network and long short-term memory network,have been widely used in feature-based automatic mod...
豆瓣
LSTM 学习笔记 Chris Olah的博客比较详细 http://colah.github.io/posts/2015-08-Understanding-LSTMs/ ，一些补充内容。为什么叫Long-short term memory(LSTM)?In Sepp Hochreiter's original paper on the LSTM where he introduces the algori.
6miu盘搜
class LSTM(Recurrent):'' ' Acts as a spatiotemporal projection,turning a sequence of vectors into a single vector.Eats inputs with shape:(nb_samples,max_sample_length(samples shorter than this are padded with zeros at the end),input_dim)and return...
澎湃
早在 2003 年，AI 先驱、LSTM 之父 Jürgen Schmidhuber 就提出过一种名为「哥德尔机（Gödel Machine）」的构想—它使用一种递归的自我改进协议，如果能够证明新代码的策略较佳，就会重写自己的代码。但这终究只是一个假想。近年来，关于模型自我学习、进化的研究逐渐多了起来，很多研究者的目标在逐渐从单纯的「训练模型」向「让模型学会自我学习和自我进化」转变，谷歌最近发布的 就是其中的重要代表。在过去的一周，这一方向的进展尤其丰富。有人发现，几篇关于「让 LLM（或...
腾讯云
近期，LSTM 提出者和奠基者，奥地利 人工智能 高级研究所（IARAI）创始人，曾获得IEEE CIS 2021 年神经网络先驱奖（Neural Networks Pioneer Award）的Sepp Hochreiter教授在《ACM通讯》上对目前AI达到的智能水平发表了看法。Sepp Hochreiter 指出，目前 AI 的发展正以广义 AI（Broad AI）为目标。他强调，将以往基于逻辑的符号AI和现有的基于数据的神经AI结合的双向AI（b...
博客园
In 1997 Hochreiter and Schmidhuber wrote their original paper that introduced the concept of long-short term memory(LSTM)cell in neural net architectures [5].Since then LSTMs have become one of the most flexible and best-in-breed...
semanticscholar.org
Long Short-Term Memory · Sepp Hochreiter, J. Schmidhuber · Published in Neural Computation 1 November 1997 · Computer Science.
arxiv.org
LSTM can solve hard long time lag problems. Neural Information Processing Systems, pages 473–479, 1997. [43] Sepp Hochreiter, A Steven Younger, ...
sciencedirect.com
To address this issue, long short-term memory (LSTM), which is an extended version of RNN, was first introduced by Hochreiter and Schmidhuber [15] in 1997. LSTM ...
papers.neurips.cc
Hochreiter and J. Schmidhuber. Long short-term memory. Technical Report FKI-. 207-95, Fakultii.t fur Informatik, Technische Universitat Munchen, 1995.
jmlr.org
In previous experi- ments Hochreiter and Schmidhuber (1997) found that error truncation did not significantly worsen the LSTM network's performance. Truncated ...
文件
[PDF] Avoiding pathologies in very deep networks
文件
[PDF] Dynamical Isometry and a Mean Field Theory of LSTMs and GRUs
arxiv.org
As introduced in Bengio et al. (1994), the exploding gradients problem refers to the large increase in the norm of the gradient during training.
arxiv.org
There are two widely known issues with properly training Recurrent Neural Networks, the vanishing and the exploding gradient problems.
proceedings.mlr.press
There are two widely known issues with properly training recurrent neural networks, the vanishing and the exploding gradient problems detailed in Bengio et ...
HKBU
Abstract— Recurrent neural networks can be used to map input sequences to output sequences, such as for recognition, production or prediction problems. However, ...
m.techwalker.com
Bengio 的主要贡献在于他对循环神经网络（RNN,Recurrent Neural Networks）的一系列推动，包括经典的neural language model，gradient vanishing 的细致讨论，word2vec的雏形，以及machine translation。Bengio是Deep Learning(《深度学习》)一书的合著者（另两位作者是Ian Goodfellow与Aaron Courville），这...
稀土掘金
循环神经网络（Recurrent Neural Networks，RNN）是一种特殊的神经网络结构，它们可以处理序列数据，如自然语言、音频和图像等。RNN 的主要特点是，它们具有“记忆”的能力，可以将之前的信息与当前输入的信息结合起来进行处理，从而捕捉到序列中的长距离依赖关系。RNN 的发展历程可以分为以下几个阶段： 1986年，普林斯顿大学的科学家J.Hopfield和Y.Tank提出了一种名为“回声”（Echo）的简单RNN模型，用于处理时间序列数据。2000年，CMU的科学家Sepp...
bilibili
http://bing.comProf. Yoshua Bengio -Recurrent Neural Networks (RNNs)字幕版之后会放出，敬请持续关注欢迎加入人工智能机器学习群：556910946，会有视频，资料放送,视频播放量 40、弹幕量 0、点赞数 0、投硬币枚数 0、收藏人数 0、转发人数 0,视频作者 从零开始的人工智能,作者简介 从零开始的人工智能。公众号：AI基地，相关视频：122集付费！冒死上传！CNN、RNN、GAN、GNN、DQN、Tr...
稀土掘金
Convolutional Neural Networks（卷积神经网络，简称CNN）和Recurrent Neural Networks（循环神经网络，简称RNN）是两种常见的深度学习算法，它们各自在不同的应用场景中表现出色。本文将对这两种算法进行比较和分析，以帮助读者更好地理解它们的优缺点和应用场景。2.核心概念与联系 2.1 Convolutional Neural Networks（卷积神经网络） CNN是一种专门用于处理二维数据（如图像）的深度...
CSDN技术社区
CSDN为您整理recurrent-neural-networks相关软件和工具、recurrent-neural-networks是什么、recurrent-neural-networks文档资料的方面内容详细介绍,更多recurrent-neural-networks相关下载资源请访问CSD...
博客园
第十四章—循环神经网络（Recurrent Neural Networks）（第一部分） 第十四章—循环神经网络（Recurrent Neural Networks）（第二部分） 这几年提到RNN，一般指Recurrent Neural Networks，至于翻译成 循环神经网络 还是 递归神经网络 都可以。wiki 上面把Recurrent Neural Networks叫做 时间递归神经网络，与之对应的还有一个 结构递归神经网络（r...
博客园
这篇文章很多内容是参考：http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/，在这篇文章中，加入了一些新的内容与一些自己的理解。  循环神经网络(Recurrent Neural Networks，RNNs)已经在众多自然语言处理(Natural Language Processing,NLP)中取得了巨...
博客园
图来自wiki：https://en.wikipedia.org/wiki/Recurrent_neural_network#Gated_recurrent_unit 为什么循环神经网络可以往前看任意多个输入值呢？来看下面的公式，即 RNN 的输出层 o 和 隐藏层 s 的计算方法： 如果反复把式 2 带入到式 1，将得到： 这就是原因。2.训练算法 RNN 的训练算法为：BPTT BPTT 的基本原理和 BP 算法是一样的，同样是三步： 前向计算每个神...
dl.acm.org
There are two widely known issues with properly training recurrent neural networks, the vanishing and the exploding gradient problems detailed in Bengio et ...
researchgate.net
There are two widely known issues with properly training Recurrent Neural Networks, the vanishing and the exploding gradient problems detailed in Bengio et al. ...
proceedings.neurips.cc
Recurrent neural networks (RNNs) notoriously struggle to learn long-term mem- ories, primarily due to vanishing and exploding gradients.
researchgate.net
We show why gradient based learning algorithms face an increasingly difficult problem as the duration of the dependencies to be captured increases.
文件
[PDF] Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling
文件
[PDF] Understanding the exploding gradient problem
百度
BENGIO,Y. 摘要： Recurrent neural networks can be used to map input sequences to output sequences,such as for recognition,production or prediction problems.However,practical difficulties have been reported in training recurrent neural networks to per...
知乎
论文网址： Learning long-term dependencies with gradient descent is difficult 论文一作是图灵奖获得者 Bengio。他本
ieeexplore.ieee.org
We show why gradient based learning algorithms face an increasingly difficult problem as the duration of the dependencies to be captured increases.
HKBU
However, practical difficulties have been reported in training recurrent neural networks to perform tasks in which the temporal contingencies present in the ...
researchgate.net
We show why gradient based learning algorithms face an increasingly difficult problem as the duration of the dependencies to be captured increases.
掌桥科研
The authors seek to train recurrent neural networks in order to map input sequences to output sequences,for applications in sequence recognition or production.Results are presented showing that learning long-term dependencies in such recu...
CSDN技术社区
知识点详细说明：#标题：“Deep Learning英文版原著（Bengio）”1.*深度学习（Deep Learning）*：深度学习是机器学习的一个分支，它建立在人工智能的子领域—人工神经网络上。深度学习利用多层非线性处理单元（神经网络）对数据进行学习和表示，可用于图像识别、语音识别、自然语言处理等多种任务。2.*Bengio*：指的是 Yoshua Bengio，他是深度学习领域的先驱之一，和 Geoffrey ...
博客园
所以长程依赖可以理解为：当你想使用语言模型，并有效利用较早时间步的信息，最终产生预测的时候，那么你就要和较长路程前的信息建立一种依赖关系，这就是长程依赖。长程依赖问题(The Problem of Long-Term Dependencies)，也就是研究长程依赖的问题。为什么传统RNN不能解决长程依赖问题 回忆RNN的网络结构，RNN之所以能够对序列数据建模，是因为它具有一个记忆单元（隐藏层的参数），但是记忆单元中记录的较早信息会随着时间步的推移而冲淡，所以就无法建立起...
澎湃
出人预料的排名变化是在最近发生的，LSTM 论文在 2019 年的年度引用量高达 9752 次，高于此前 Bengio、LeCun 等人年度被引最高的 CNN 相关论文（《Gradient-based learning applied to document recognition》）。20 世纪 DL 最高被引论文易主 其实在此之前，20世纪深度学习领域被引量最高的论文一直是图灵奖得主 Geoffrey Hinton 的「反向传播」相关论文，其累计引用量达到了 6475...
学者网-SCHOLAT
今天，我们再为大家推荐一篇因果表示学习论文：Yoshua Bengio 联合Bernhard Schölkopf团队发表的《Towards Causal Representation Learning》，该论文已被《Proceedings of the IEEE》期刊接收。在 2020 年底的一场讲座中，Bengio 称这是他们当前研究项目的核心。论文链接：https://arxiv.org/pdf/2102.11107.pdf Yoshua B...
CSDN技术社区
《DeepLearning》是由Yoshua Bengio、Ian Goodfellow和Aaron Courville合著的一本深度学习领域的经典著作，被业界誉为深度学习神书。书中涵盖了深度学习的基础理论、数学原理以及实际应用，旨在帮助读者深入理解这一领域的核心概念和技术。在本书中，作者首先介绍了深度学习的概况，包括该领域的主要读者群体以及深度学习的历史发展趋势。这部分内容有助于读者理解深度学习的重要性及其在人工智能领域的地位。接下来，书中详细阐述了应用于深度学习的数学基础知识，如线性代...
pdfs.semanticscholar.org
Learning LongTerm Dependencies with. Gradient Descent is Difficult. ○. IEEE Trans. on Neural Networks 1994. Yoshua Bengio, Patrice Simard, Paolo Frasconi.
semanticscholar.org
This work shows why gradient based learning algorithms face an increasingly difficult problem as the duration of the dependencies to be captured increases, ...
scirp.org
In this study, we attempt to leverage the ability of supervised learning methods, such as ANNs, KANs, and gradient-boosted decision trees, to approximate ...
sciencedirect.com
Bengio et al. Learning long-term dependencies with gradient descent is difficult. IEEE Transactions on Neural Networks. (1994). N. Bertschinger et al. At the ...
ieeexplore.ieee.org
Results are presented showing that learning long-term dependencies in such recurrent networks using gradient descent is a very difficult task.
文件
[PDF] Order-Planning Neural Text Generation From Structured Data
文件
[PDF] RESEARCH ARTICLE Robust and brain-like working memory through short-term synaptic plasticity
dl.acm.org
We briefly review Hochreiter's (1991) analysis of this problem, then address it by introducing a novel, efficient, gradient based method called long short-term ...
researchgate.net
We briefly review Hochreiter's (1991) analysis of this problem, then address it by introducing a novel, efficient, gradient based method called long short-term ...
麻省理工学院
We briefly review Hochreiter's (1991) analysis of this problem, then address it by introducing a novel, efficient, gradient based method called ...
Hyper.AI
长短期记忆（英语：Long Short-Term Memory，LSTM）是一种时间递归神经网络（RNN），论文首次发表于 1997 年。由于独特的设计结构，LSTM 适合于处理和预测时间序列中间隔和延迟非常长的重要事件。LSTM 的表现通常比时间递归神经网络及隐马尔科夫模型（HMM）更好，比如用在不分段连续手写识别上。2009 年，用 LSTM 构建的人工神经网络模型赢得过 ICDAR 手写识别比赛冠军。LSTM 还普遍用于自主语音识别，2013 年运用 TIMIT 自...
腾讯云
长短期记忆 人工神经网络（Long-Short Term Memory,LSTM） 由于独特的设计结构，LSTM适合于处理和预测时间序列中间隔和延迟非常长的重要事件。LSTM的表现通常比时间递归神经网络及隐马尔科夫模型（HMM）更好，比如用在不分段连续手写识别上。2009年，用LSTM构建的人工神经网络模型赢得过ICDAR手写识别比赛冠军。LSTM还普遍用于自主 语音识别，2013年运用TIMIT自然演讲 数据库 达成17.7%错误率的纪录。作为非线性模型，LSTM可作为...
腾讯云
而在深度学习算法中，长短期记忆网络（Long Short-Term Memory，LSTM）是一种特殊的 循环神经网络（Recurrent Neural Network，RNN），它在序列 数据建模 中具有出色的能力。本文将深入探讨LSTM网络的原理和应用，以及它在深度学习领域的重要性。2.LSTM网络的原理 LSTM网络是由Hochreiter和Schmidhuber于1997年提出的，旨在解决标准RNN中长期依赖问题。LSTM通过引入记忆单元（
AI工具集
LSTM，全称为Long Short-Term Memory，中文为“长短期记忆网络”，由Sepp Hochreiter和Jürgen Schmidhuber在1997年提出，是一种能够记住长期信息并用于未来计算的深度学习算法。LSTM的设计初衷是为了解决传统循环神经网络RNN在处理长序列数据时遇到的梯度消失问题。LSTM通过引入特殊的结构—记忆单元以及控制信息流的门控机制，使其能够学习并记住长期的信息，同时忽略不重要的信息。LSTM的结构 LSTM网络...
知乎
本节课程地址： 57 长短期记忆网络（LSTM）【动手学深度学习v2】_哔哩哔哩_bilibili 本节教材地址： 9.2. 长短期记忆网络（LSTM） — 动手学深度学习 2.0.0 docume
博客园
LSTM是传统RNN的变体，与经典RNN相比能够有效捕捉长序列之间的语义关联，通过引入了“记忆单元”（Memory Cell）和“门控机制”来控制信息的流动，解决了标准RNN中梯度消失和梯度爆炸的问题。其核心结构可以分为四个部分：遗忘门、输入门、输出门、细胞状态（记忆状态）。一.LSTM的核心思想 LSTM的“记忆”我们叫做细胞/cells，你可以直接把它们想做黑盒，这个黑盒的输入为前状态h_{t-1}和当前输入x_{t}。这些“细胞”会决定哪些之前的信息和状态需要保留/记住，而哪些要被抹...
百度百科
长短期记忆网络（LSTM，Long Short-Term Memory）是一种时间循环神经网络，是为了解决一般的RNN（循环神经网络）存在的长期依赖问题而专门设计出来的，所有的RNN都具有一种重复神经网络模块的链式形式。在标准RNN中，这个重复的结构模块只有一个非常简单的结构，例如一个tanh层。
Free考研考试
[19]Hilker M,Schmülling T(2019).Stress priming,memory,and signaling in plants Plant Cell Environ 42,753-761. [本文引用:2] [20]Jaskiewicz M,Conrath U,Peterh?nsel C(2011).Chromatin modification acts as a memory for systemic acquired re...
semanticscholar.org
Long Short-Term Memory · Sepp Hochreiter, J. Schmidhuber · Published in Neural Computation 1 November 1997 · Computer Science.
sciencedirect.com
Long short-term memory network is an advanced recurrent neural network (Hochreiter and Schmidhuber, 1997) and provides a well-constructed structure by ...
aclanthology.org
Teaching machines to read and comprehend. In Advances in Neural Information. Processing Systems, pages 1684–1692. Sepp Hochreiter and Jürgen Schmidhuber. 1997.
National Institutes of Health (.gov)
We briefly review Hochreiter's (1991) analysis of this problem, then address it by introducing a novel, efficient, gradient-based method called ...
arxiv.org
Long Short-Term Memory. Neural computation, 9(8):1735–1780, 1997. [42] Sepp Hochreiter and Jürgen Schmidhuber. LSTM can solve hard long time.
文件
[PDF] 关于深度学习的综述与讨论
researchgate.net
Hochreiter and Schmidhuber 1996, 1997) that simple weight guessing solves many of the problems. in (Bengio 1994, Bengio and Frasconi 1994, Miller and Giles 1993 ...
dl.acm.org
Hochreiter, S., & Schmidhuber, J. (1997). LSTM can solve hard long time lag problems. In Advances in neural information processing systems 9.
semanticscholar.org
Long Short-Term Memory · Sepp Hochreiter, J. Schmidhuber · Published in Neural Computation 1 November 1997 · Computer Science.
Hyper.AI
长短期记忆（英语：Long Short-Term Memory，LSTM）是一种时间递归神经网络（RNN），论文首次发表于 1997 年。由于独特的设计结构，LSTM 适合于处理和预测时间序列中间隔和延迟非常长的重要事件。LSTM 的表现通常比时间递归神经网络及隐马尔科夫模型（HMM）更好，比如用在不分段连续手写识别上。2009 年，用 LSTM 构建的人工神经网络模型赢得过 ICDAR 手写识别比赛冠军。LSTM 还普遍用于自主语音识别，2013 年运用 TIMIT 自...
腾讯云
长短期记忆 人工神经网络（Long-Short Term Memory,LSTM） 由于独特的设计结构，LSTM适合于处理和预测时间序列中间隔和延迟非常长的重要事件。LSTM的表现通常比时间递归神经网络及隐马尔科夫模型（HMM）更好，比如用在不分段连续手写识别上。2009年，用LSTM构建的人工神经网络模型赢得过ICDAR手写识别比赛冠军。LSTM还普遍用于自主 语音识别，2013年运用TIMIT自然演讲 数据库 达成17.7%错误率的纪录。作为非线性模型，LSTM可作为...
腾讯云
而在深度学习算法中，长短期记忆网络（Long Short-Term Memory，LSTM）是一种特殊的 循环神经网络（Recurrent Neural Network，RNN），它在序列 数据建模 中具有出色的能力。本文将深入探讨LSTM网络的原理和应用，以及它在深度学习领域的重要性。2.LSTM网络的原理 LSTM网络是由Hochreiter和Schmidhuber于1997年提出的，旨在解决标准RNN中长期依赖问题。LSTM通过引入记忆单元（
AI工具集
LSTM，全称为Long Short-Term Memory，中文为“长短期记忆网络”，由Sepp Hochreiter和Jürgen Schmidhuber在1997年提出，是一种能够记住长期信息并用于未来计算的深度学习算法。LSTM的设计初衷是为了解决传统循环神经网络RNN在处理长序列数据时遇到的梯度消失问题。LSTM通过引入特殊的结构—记忆单元以及控制信息流的门控机制，使其能够学习并记住长期的信息，同时忽略不重要的信息。LSTM的结构 LSTM网络...
博客园
LSTM是传统RNN的变体，与经典RNN相比能够有效捕捉长序列之间的语义关联，通过引入了“记忆单元”（Memory Cell）和“门控机制”来控制信息的流动，解决了标准RNN中梯度消失和梯度爆炸的问题。其核心结构可以分为四个部分：遗忘门、输入门、输出门、细胞状态（记忆状态）。一.LSTM的核心思想 LSTM的“记忆”我们叫做细胞/cells，你可以直接把它们想做黑盒，这个黑盒的输入为前状态h_{t-1}和当前输入x_{t}。这些“细胞”会决定哪些之前的信息和状态需要保留/记住，而哪些要被抹...
百度百科
长短期记忆网络（LSTM，Long Short-Term Memory）是一种时间循环神经网络，是为了解决一般的RNN（循环神经网络）存在的长期依赖问题而专门设计出来的，所有的RNN都具有一种重复神经网络模块的链式形式。在标准RNN中，这个重复的结构模块只有一个非常简单的结构，例如一个tanh层。
阿里云开发者社区
简介：长短期记忆（Long Short-Term Memory，简称 LSTM）是一种特殊的循环神经网络（RNN）结构，用于处理序列数据，如语音识别、自然语言处理、视频分析等任务。LSTM 网络的主要目的是解决传统 RNN 在训练过程中遇到的梯度消失和梯度爆炸问题，从而更好地捕捉序列数据中的长期依赖关系。长短期记忆（Long Short-Term Memory，简称 LSTM）是一种特殊的循环神经网络（RNN）结构，用于处理序列数据，如...
爱码网
LSTM叫长短期记忆网络（Long short term memory），是RNN循环神经网络（Recurrent Neural Network）的一个变形。LSTM的结如下： LSTM的核心是细胞状态，用贯穿细胞的水平线表示。LSTM多了一个表示cell记忆的值。也就是我们不仅要更新当前cell的输出，我们还要思考，哪些东西可以记在我们的cell里，记多少？既然有了记忆，那么我们的输入不仅仅有上一时刻的输出，此刻的输入，还有cell本身存储的那部分信息。LSTM内部分为三个门，遗忘门，输...
知乎
事实上，最近我们发现(Schmidhuber and Hochreiter 1996, Hochreiter and Schmidhuber 1996, 1997)简单的重量猜测解决了(Bengio 1994, Bengio and Frasconi ...
aclanthology.org
Sepp Hochreiter and Jürgen Schmidhuber. 1997. Long short-term memory. Neural computation, 9(8):1735–. 1780. Sepp Hochreiter. 1991.
机器之心
长短期记忆(Long Short-Term Memory) 是具有长期记忆能力的一种时间递归神经网络(Recurrent Neural Network)。 其网络结构含有一个或多个具有可遗忘和记忆功能的单元组成。
sciencedirect.com
Long Short-Term Memory networks (Hochreiter & Schmidhuber, 1997) aim to mitigate the exploding and vanishing gradient problem (Bengio et al., 1994 ...
openreview.net
Long short-term memory networks (LSTM) (Hochreiter & Schmidhuber, 1997) have become the de-facto recurrent neural network (RNN) for learning representations ...
文件
[PDF] 关于深度学习的综述与讨论
文件
[PDF] Understanding the exploding gradient problem
ieeexplore.ieee.org
We show why gradient based learning algorithms face an increasingly difficult problem as the duration of the dependencies to be captured increases.
HKBU
Bengio, P. Frasconi, P. Simard, "The problem of learning long- term dependencies in recurrent networks," invited paper at the IEEE. International ...
researchgate.net
We show why gradient based learning algorithms face an increasingly difficult problem as the duration of the dependencies to be captured increases.
知乎
论文网址： Learning long-term dependencies with gradient descent is difficult 论文一作是图灵奖获得者 Bengio。他本
NSTL国家科技图书文献中心杭州服务站
Y.Bengio|P.Simard|P.Frasconi-Learning long-term dependencies with gradient descent is difficult-IEEE Transactions on Neural Networks-1994,5(2)-157～166 Wolfgang.Maass|Thomas.Natschläger|Henry.Markram-Real-Time Co...
机器之心
研究者进一步观察发现，程序比自然语言语句大得多，即使是带有长短期记忆(Hochreiter and Schmidhuber 1997,LSTM)单元的 RNN 也存在长期依赖问题(Bengio,Simard,and Frasconi 1994)。而 CNN，却能通过滑动窗口有效地捕获不同区域的特征。为此，研究者提出了一种基于语法的结构化 CNN 来用于代码生成。他们的模型根据 AST 中的语法结构规则生成代码，例如，If→expr stmt*stmt*就...
Journal of Zhejiang University-SCIENCE
[2]Bengio Y,Simard P,Frasconi P,1994.Learning long-term dependencies with gradient descent is difficult.IEEE Trans Neur Netw,5(2):157-166. [3]Bengtsson T,Bickel P,Li B,2008.Curse-of-dimensionality revisited:coll...
机器之心
1994 Bengio指出使用梯度下降的网络难以学习长期的依赖关系 Bengio,Y.,Simard,P.,&Frasconi,P.(1994)."Learning Long-Term Dependencies with Gradient Descend is Difficult",IEEE Transactions on Neural Networks,Vol.5,No.2(pp.157-166)....
IEEE/CAA Journal of Automatica Sinica
Y.Bengio,P.Simard,and P.Frasconi,“Learning long-term dependencies with gradient descent is difficult,”IEEE Trans.Neural Netw.,vol.5,no.2,pp.157–166,1994.doi:10.1109/72.279181 [5] H.Salehinejad,S.Sankar,J.Barfett...
知犀思维导图
使该算法在神经网络领域得到广泛应用。参考文献：Rumelhart,D.E.,Hinton,G.E.,&Williams;,R.J.(1986).Learning representations by back-propagating errors.Nature,323(6088),533-536. 1997年，约书亚·本吉奥等人提出了基于梯度的学习算法，用于训练递归神经网络（RNN）。为后来的RNN兴起奠定基础 参考文献：Bengio,Y.,Simard,...
机器之心
Y.Bengio,P.Simard and P.Frasconi,"Learning long-term dependencies with gradient descent is difficult,"in IEEE Transactionson Neural Networks,vol.5,no.2,pp.157-166,Mar 1994.doi:10.1109/72.279181 1997 LSTM单元的提出 Ho...
pdfs.semanticscholar.org
Learning LongTerm Dependencies with. Gradient Descent is Difficult. ○. IEEE Trans. on Neural Networks 1994. Yoshua Bengio, Patrice Simard, Paolo Frasconi.
dl.acm.org
We show why gradient based learning algorithms face an increasingly difficult problem as the duration of the dependencies to be captured increases.
semanticscholar.org
This work shows why gradient based learning algorithms face an increasingly difficult problem as the duration of the dependencies to be captured increases, ...
scirp.org
In this study, we attempt to leverage the ability of supervised learning methods, such as ANNs, KANs, and gradient-boosted decision trees, to approximate ...
ieeexplore.ieee.org
Results are presented showing that learning long-term dependencies in such recurrent networks using gradient descent is a very difficult task.