历史上的“夜郎古国”是和“夜郎自大”联系在一起的，“夜郎自大”典出《史记·西南夷列传》：滇王与汉使者言曰：“汉孰与我大？”。及夜郎侯亦然。以道不通，故各以为一州主，不知汉广大。
这个故事说的是，汉朝的时候，在中国西南方有一个很小的县，叫作桐梓县。在桐梓县往东二十里的地方，有一个很小的国家叫夜郎国。这个夜郎国虽然是一个独立自主的国家，它的国土却小得非常可怜，和当时汉朝的一个小县差不多大。可是，夜郎国的国王却十分的张狂，以为自己的国家很大很大，不晓得临近的国家有多大！有一次，汉朝的朝廷派使者在拜访滇王之后返回长安的路上又去拜访夜郎国的国王，他一脸骄傲地问：“你们汉朝和我们夜郎，究竟是那一个国家大呢？”汉朝的使者一听，都忍不住想笑！以后，人们就用“夜郎自大”这句话，来形容那些愚昧无知，张狂自大的人。
“夜郎自大”这个成语在古代颇为流行。清朝前期著名文学家蒲松龄在《聊斋志异·绛妃》中写道：“驾炮车之狂云，遂以夜郎自大。恃贪狼之逆气，漫以河伯为尊。”成书于光绪后期的晚清小说代表作《孽海花》第二十四回写道：“饿虎思斗，夜郎自大，我国若不大张挞伐，一奋神威，靠着各国的空文劝阻，他哪里肯甘心就范呢？”
然而，还有一种说法，说夜郎“自大”，是从汉文化视角看夜郎时造成的一个历史的误会。以原典论，不过是因为古代交通不便，西南夷与中原王朝远隔千山万水，处于封闭状态中的夜郎王，渴望了解外面的世界，因此才有此一问：夜郎与汉朝，究竟谁大？司马迁在《史记》里曾说：“西南夷君长以什数，夜郎最大。”夜郎国作为西南夷“最大”的国家，也许还有一点不知天高地厚地敢与汉朝“比大”的井底之蛙的意味。不过，若是从夜郎民族的立场上看，那就不叫“自大”，而是自尊、自信，有一种强烈的民族自豪感。
这是从当时夷汉交叉的视角审视的结果。夜郎人的民族自豪感由来已久，这一点在彝文献里触处可见。《夜郎史传》写夜郎王武益纳的武功：“武夜郎（即武益纳）君长，比先辈威武，比先辈刚强，他经常带兵，不断地征战。一下去东征，一下去南战，全都打胜仗，屡屡建奇功。”在征伐东、西濮时，他挥师进军，竟口出狂言：“我夜郎大军，谁敢来阻挡？”就连夜郎国的开国之君夜郎朵，也同汉家天子一般，自命为“代高天掌权，为大地守境”的“天地子”，而一代明君多同弥（即多同），不但自称“天之子”，更有开辟“新天”的胆识，甚至敢于宣称：“唯我独尊君，唯我享盛名”！
夜郎之大，留给夜郎民族的记忆也是刻骨铭心而又真切动人的。夜郎土著濮人后裔即仡佬族的“丧葬歌”里，巫师唱道：“……大田大地我们的，大山大岭我们的，东南西北我们的。
大场大坝随便走，大冲大凹随便行，天宽地宽由你走，四面八方任你行……”而在关于夜郎国的民间传说里，甚至还有这样的讲述：骑手骑着骏马跑了一百天，骏马累死了，也还未跑到夜郎国的尽头。这里当然免不了夸张，但是在这夸张手法的后面，我们看到的不正是夜郎人疆域辽阔、国力强盛的心理基础，不正是夜郎国“最大”所留给夜郎民族的集体记忆吗？以此可见，夜郎并非众所周知“自大”，而是鲜为人知的真大。
由此看来，“夜郎自大”无疑是汉朝时给这块土地的先民们不公正的历史待遇，给夜郎古国留下了天大的历史笑话。明太祖朱元璋以僧为帝开历史之先河，他的谪孙明建文皇帝又以帝为僧，到长顺白云山隐姓埋名出家修行数十年，竟成千古之谜。1638年，著名旅行家徐霞客追随建文帝流亡的足迹来到贵州佛教名山白云山考察，也未能解开这起历史的悬案。
