五阿哥为什么没当上皇帝？

最近在刷《还珠格格》，突然想到一个事儿：五阿哥永琪明明那么受乾隆宠爱，又有才华，还是嫡子（虽然母亲不是皇后吧），怎么最后皇位就落到嘉庆头上了？我查了点资料，有人说是因为他生母愉妃地位不高，也有人说是他死得早，但具体咋回事还是搞不太清楚。希望懂清史或者看过相关史料的朋友，能给我掰扯掰扯——五阿哥到底差在哪一步？是乾隆压根没考虑过他，还是他自己作死，或者真是命不好？最好能结合点真实历史细节，别光拿电视剧说事儿哈！