相傳明代浙江考生「商輅」，某夜夢見自己跪於文昌殿前，祈求文昌帝君保佑考試順利，供桌上備有筆墨紙硯、一盤花生和麥芽糖。這時文昌帝君突然顯靈，對著供桌，手臂一揮，只見供桌上的花生自動去殼，一一飛入麥芽糖中，成了花生糖，而花生糖瞬間化為數頭牛隻，朝他飛奔過來。就在此刻，商輅夢醒了。
解夢者指出，「筆墨紙硯」加上「花生」，代表「生花妙筆」，對於科考，這無疑是大利多。至於花生糖變成牛，朝他奔來，象徵「擁有智慧」。總之，對考生來說，這都是好兆頭。「商輅」聞之大喜，乃命家僕取米穀和麥芽糖，仿夢中情境，加入花生，製成硬糖，並且將之壓成牛狀的花生糖，與人分享。
後來，正式應考，連著參加鄉試、會試、殿試，都榮獲第一名，「商輅」可說是明代八十九位狀元之中，唯一「三元及第」者。於是他衣錦返鄉，大量製作花生糖，向文昌帝君還願。此後，官運亨通，曾任吏部尚書兼大學士之一品官。久而久之，其他考生為祈求考運和官運，就效法他，以花生糖祭拜文昌帝君。

茲因典故中有「牛」，且商輅之「輅」，讀「一ㄚˋ」，有「迎接」之意，故名之曰「牛輅糖」；又因「輅」與「軋」同音，「牛輅糖」逐漸寫成「牛軋糖」。「軋」另有一音為「ㄍㄚˊ」，一般人訛讀為「ㄗㄚ」。

到了清代，西方傳教士來華，亦將「牛軋糖」帶回歐洲，加入奶油、蛋白、奶粉之類，成為法國知名的糖果。 一九五○年代之後，有人自香港將「牛軋糖」引進臺灣，深受歡迎，是許多人送禮的第一選擇。