江戸初期から中期にわたり、この場所は「四方尸羅場(しほうしらば)」と言われ女人堂が建てられていた。この先は薬師如来の聖域であり、女性は之を以て頂きへ登る事が禁じられており、此処で薬師様を参拝し、山頂に向かって「黒護符(くろごふ)」と「当帰(とうき)」を授かって来る男衆を待って居た。

庶民は「おんなしらば」（女性は是より上は結界の地）と呼び、祠は間口二間奥行き一間位、薬師に由来ある仏が祀られていたが、明治５年「太政官布令」により女性のタブーが解かれる。

「しらば避難小屋」は登山者の安全確保を目的として一九六八年（昭和４３年）秋に建設。その後、柿崎山岳会・上越市などにより補修が行われ、現在に至る。