很久以前,賽夏族人打獵的時候,都是全體一起出去,一大群人賣力的圍捕和獵殺,辛苦半天所得到獵物並不多。那時候,他們也不會耕種,季節不好,採摘不到果實和野菜,只好餓肚子,日子過得辛苦極了。頭目眼看田園裡穀穗稀疏,只好派勇士們出去打獵,勇士們都一起大聲回答:「我們一定要打到獵物回來!」
他們在迷霧裡搜索著動物的蹤跡。突然間,勇士嘎歷發現一條小路,於是獨自走過去,當他想要回頭和同伴說話時,卻發現自己落單了。嘎歷開始緊張,一不小心就落下深不見底的山谷。當嘎歷落了地穩住了身子,突然聽見山腰有人在低聲吟唱,於是急忙躲到大樹後,他看見一群矮黑人圍坐成一圈,他們的身高不到一百公分,黑皮膚,捲頭髮,上半身裸露著,唱著怪歌,像正在舉行一種儀式,圈子中間是一堆纏繞著的百步蛇。矮黑人唱歌跳舞,百步蛇一條一條悄悄的挪開了。原來這是一種「驅蛇的儀式」。嘎歷想:「這些矮黑人好像有法力,也許可以請他們幫忙,讓我們的作物豐收」,於是他鼓足勇氣走進山洞,矮黑人頭目聽了他的請求,也很慷慨地答應,但是他開出條件:「我們可以幫忙,不過收成的一部分要給我們。」
矮黑人到了賽夏部落以後,族人的生活終於改善了,金黃的田地讓人看了心裡好歡喜。慶功宴上,矮黑人頭目得意地對賽夏族人說:「你們現在的生活,都是矮黑人的功勞!」矮黑人因為懂得歌唱、耕種、打獵、祭祀,又會施法術,他們開始擄掠,欺侮婦女,終於引起賽夏族人不滿,於是決定反抗。
又到了秋收的時候,賽夏族頭目還是準備了豐盛的食物,邀請矮黑人一起來慶祝。就在同時,嘎歷奉頭目的命令在矮黑人回家的路上佈置了一個陷阱。宴會結束,兩族人各自返家,因為天還沒亮,矮黑人們又喝得醉醺醺的,走著走著一不小心全都掉下了陷阱摔死了。
矮黑人頭目看到他的族人摔死,才知道原來中了賽夏族人的計,於是憤怒的詛咒說:「賽夏族人,恩將仇報!你們將受到我祖靈的懲罰,田地不再發芽!」嘎歷回答:「我們對你們多麼真心,可是你們卻欺侮我們的妻女,我們這麼做是不得已的。
之後,居然一連下了好幾個月的雨,賽夏族人住的地方都淹水,好多人也因此喪生。就在這時,矮黑人頭目又來了,他說:「過去的就算了,我來教你們矮靈祭歌,你們要誠心誠意的唱,否則還會受到矮靈的懲罰。」於是,賽夏頭目鄭重的宣布:「以後每年的豐收慶改為矮靈祭,誠心祈求矮靈不要降災。」所以,以後每年矮靈祭的時候,大家都會誠心誠意的祈禱懺悔,徹夜跳舞,來安慰矮靈,希望能夠藉著祭典,過平安的生活。