为什么男人戴观音，女人戴佛？

最近跟朋友聊到戴首饰的事儿，发现很多人说“男戴观音女戴佛”，但我一直没搞明白这说法到底怎么来的。上网查了查，有的说是跟谐音有关，比如“观音”通“官运”，还有的说跟阴阳五行搭配有关系，但感觉都挺玄乎的，没个准信儿。我自己试着戴了一阵子观音，也没觉得有啥特别变化。所以想问问懂行或者有研究的朋友，这个传统到底是从什么时候开始的？背后有没有什么文化、宗教或者民俗上的讲究？是不是真的有什么禁忌或者说法，还是纯粹就是商家编出来好卖货？希望听到一些靠谱的解释，别整那种太玄的。