为什么各国黄金都存放在美国？

最近看了些关于黄金储备的文章，发现好多国家（包括中国、德国这些）都把大量黄金存在美国纽约联储的地下金库里。感觉挺奇怪的，明明是自己国家的财富，干嘛要放别人家里？我大概查了一下，说是因为二战后的布雷顿森林体系，美元跟黄金挂钩，加上纽约是全球最大的黄金交易中心，存那里方便买卖。但现在已经不是金本位了，为啥大家还继续存着？是怕运回来成本太高，还是有什么其他考虑？我想听听有没有懂金融或国际关系的大神，能从历史、经济安全、政治博弈这些角度，通俗点解释下：除了交易方便，是不是还有别的“不能说的秘密”？比如万一美国赖账怎么办，或者这些黄金到底算不算被美国“绑架”了？