大神山神社奥宮のすぐ横に鎮座する奥宮の末社で、1330（元徳2）年、大神山神社を尊崇する備中郡司・渡邊日向の守の子、渡邊照政が参拝の帰路に不慮の事故で亡くなり、それを哀れんだ大山下山の人々が下山善神を建立したのが始まりと…