江戸時代には不動明王ら五大明王が祀られ護摩を焚く、天台密教の祈祷所だった。明治の神仏分離・廃仏毀釈により破却されそうな所を「上社務所」とすることで免れた。ここに安置されていた五大明王は、中禅寺湖畔の中禅寺(日光山輪王寺の別院)の五大堂に遷されている。