徐龙象为什么被叫“黄蛮儿”？

看过《雪中悍刀行》的朋友都知道，徐龙象是北凉王徐骁的次子，天生神力但心智像个小孩子。我最近刚追完剧，又去翻了翻原著，发现大家都管他叫“黄蛮儿”，可剧里好像没明说这个外号的来由。我自己琢磨了一下，大概是因为他总穿一身黄衣服，加上性格憨直蛮横，但不确定是不是还有更深层的典故。有没有懂原著的大佬帮忙解释一下？是单纯因为打扮和性格，还是跟他的身世、气运或者他娘亲吴素有什么关系？最好能结合书里的细节说说，别太官方，咱就唠嗑式地讲清楚就行。