为什么高官都不敢去庐山？

最近刷到个说法，说很多高官都不敢去庐山，搞得我挺好奇的。我查了一下，好像跟以前庐山会议那些历史事件有关，说是去那儿容易让人联想到一些敏感的政治斗争，所以现在大家都有点避讳。但我也不太确定，这到底是真事儿还是网上瞎传的？我自己试着搜了搜，没找到什么官方说法，就看到些零星的八卦。所以想问问懂行的朋友，这背后到底有没有什么实锤？是纯粹因为历史阴影，还是有别的不成文的规矩？希望有人能客观聊聊，别光整那些玄乎的阴谋论。