我们在3岁之前就学会了说话，学会了指认周围熟悉的事物，学会了认识亲近的人，学会了分辨颜色、气味和形状等。我们如果在3岁之前没有记忆的话，这些东西又是怎么在大脑中留存下来，甚至以此为基础构筑了我们完整的思维和认知体系的呢?显然，在婴儿到幼儿的这几年时间里，我们不仅有记忆，而且记忆力非常强大，这几年中我们接收的外界信息，数里庞大得难以想象，我们在短短几年的时间里，不断地认识一个全新又陌生的世界。
又有人开始产生疑问，既然我们在幼儿时期的记忆力如此出众，那么为什么我们没办法回忆起3岁之前发生的事情呢?现在科学家们普遍认为，那是因为我们大脑的长期记忆的能力还没有完善，不能很好运作，婴幼儿时期的记忆更多的是一种形象记忆，没有任何目的和意图，都是随意进行的，那些形象鲜明，能够引起孩子兴趣的事物，会更容易被记住，但是这些记亿就像是被原封不动地存在大脑中的某张图片，它只是一个轮廓、片段和印象，而没有被理解成为知识，进而牢固深刻地存留在大脑中，这种记亿是一个短暂的过程，如果不进行重复，很快就会被遗忘。通常，周岁以内的孩子，记忆只能保存几天；2岁左右的孩子，记忆能保存几个星期；而3岁大的孩子，则能够认出几个月没有见的亲人。
孩子从4岁开始学会思考，认知能力增强，并使用“记住”或者“忘记”之类的表达记忆概念的词，这说明，孩子从这个时候起，长期记忆系统开始发挥作用，一些对我们产生影响，印象深刻的事情开始转化为一种长期的记忆被保留在大脑中，在以后的日子里通过回忆就能够回想起来。
记忆是一种天赋，拥有回忆是一件非常美好的事情，但是有时候，“遗忘”也是一种恩赐。心理学家弗洛伊德认为，人们会无意识地抑制负面的记忆，一些悲伤、痛苦或者恐惧的记亿即使仍然存储在我们的大脑潜意识中，但是很难被唤醒，形成回忆，就好像我们已经将它们彻底“遗忘”。