记忆宫殿为什么让人细思极恐？

最近看了些关于记忆宫殿的资料，本来觉得就是个记忆技巧，但越想越觉得后背发凉。你想想，那些顶尖的记忆大师，脑子里装着几千个“宫殿”，每个角落都塞满了画面——有些甚至是很诡异、很暴力的意象，用来辅助记忆。我试着按教程在自己家里建了一个，结果发现晚上闭眼时，那些“存放”的记忆画面会不受控制地跳出来，好像家里的每个物件都变得有“记忆”了，分不清哪些是我真实的回忆，哪些是我故意放进去的假象。我已经试过暂停训练、转移注意力，但那种“脑子被陌生人入侵”的感觉还是挥之不去。想知道有没有人和我一样有这种体验？这到底是记忆宫殿本身的逻辑漏洞，还是我练歪了？希望有懂心理学或认知科学的朋友，从潜意识、记忆混淆或者大脑自我保护机制的角度，帮我解释一下这种“细思极恐”到底有没有科学依据。