कहा जाता है कि यहां पर यमराज कर्मों के अनुसार आत्मा को अपना फैसला सुनाते हैं। यह भी मान्यता है इस मंदिर में चार अदृश्य द्वार हैं जो स्वर्ण, रजत, तांबा और लोहे के बने हैं। यमराज का फैसला आने के बाद यमदूत आत्मा को कर्मों के अनुसार इन्हीं द्वारों से स्वर्ग या नर्क में ले जाते हैं। गरूड़ पुराण में भी यमराज के दरबार में चार दिशाओं में चार द्वार का उल्लेख किया गया है।