类脑情节记忆

情节记忆

人类情节记忆的特点是能够通过感知到的一些组分，例如看到的物体，听到的声音，闻到的气味等回想起与之关联的故事。例如咖啡的香气或者一个常用的马克杯会让人回忆起清晨的第一杯咖啡。而本项目从视觉感官出发，试图利用这一记忆机理构建相似的算法模型，并应用于对日常生活点滴故事的记录。

模型设计

模型设计如上图所示。

首先对拍摄的视频片段提取关键帧，再通过对关键帧进行目标检测算法，提取出场景中的独立物体，提取特征后存入目标记忆。此外，还对关键帧本身进行特征提取，将得到的特征存入场景记忆。最后将该场景记忆和场景中的目标之间建立链接，完成记忆阶段。

此后，在回忆阶段，通过输入若干个物体的图像，通过同一个特征提取网络，与目标记忆中记下来的目标进行比对，检出若干条相似度最高的目标，并寻找其所共同包含的场景记忆，基于回忆到的记忆片段生成关键帧，并由关键帧进行视频生成，最终实现对过往经历的回忆。