इस मंदिर की कहानी के अनुसार करणी माता का जन्म चारण परिवार में 13वी शताब्दी में हुआ था। उनका नाम रघुबाई था । रघुबाई की शादी किपोजी चारण से हुई थी। लेकिन रघुबाई की सांसारिक जीवन में कोई दिलचस्पी नहीं थी । जिस वजह से  रघुबाई ने अपने पति का विवाह अपनी छोटी बहन से करवा दिया और खुद संन्यासी बन भगवान की भक्ति में लीन हो गई।

लेकिन एक बार उनके पति और छोटी बहन की संतान जिसका नाम लक्ष्मण था वो कपिल सरोवर में गिर गया । जिस वजह से उसकी अकाल मृत्यु हो गई। जब इस बात का पता करणी माता को चला तो उन्होंने अपनी भक्ति और तप से यमराज से लक्ष्मण को जिंदा करने को कहा। करणी माता के लाख यतन के बाद यमराज ने लक्ष्मण को चूहे के रूप में पुनः जीवित कर दिया ।

तब से इस मंदिर में चूहों  के रुप में माता करणी की संतान मौजूद हैं। मंदिर में मौजूद चूहो को यहाँ काबा कहा जाता है। यहाँ लाखो की तादाद में चूहे मौजूद हैं। जिसमे काले और सफेद दोनों रंग के चूहे है । लेकिन सफेद चूहों का दिखना ज्यादा शुभ माना जाता है। इस मंदिर में आने वाले भक्त पैर उठाकर नही चलते बल्कि घसीट कर चलते हैं क्योंकि यहां मौजूद चूहो का पैर के नीचे दबकर मरना अशुभ माना जाता है ।

चूहो की इतनी संख्या के कारण ये मंदिर मूषक मंदिर, चूहो का मंदिर के नाम से भी मशहूर है।यहां चढाया जाने वाले प्रसाद का भोग का सबसे पहले यहां मौजूद चूहे लगाते है। इसलिए माना जाता है कि यहाँ से मिले चूहों का झूठा प्रसाद को खाने से मनोकामनाएं बहुत जल्दी पूरी हो जाती है और अगर आपको मंदिर में सफेद  चूहों के दर्शन होते हैं। तो इसका मतलब आप बहुत लकी है ।और आपको जिंदगी में जल्द कोई बङी खुशी  मिलने वाली है ।