天養2年（1145）東の空に彗星が現れた際、第76代近衛天皇は、国家の災害を憂い、山城国（現在の京都府南東部）の男山と賀茂の2社に行幸され、臨祭を行われた。
2社の別当は敬神の念厚く、神徳を仰いで、国家の災害救助を常に祈願。
久安年間（約850年前）に当山の神社を大沼田村大坊山山頂に建立した。
主祭神は大山祇命で国家安全、五穀豊穣などを祈願した。明治40年、神饌幣帛料供進社に指定された。
昭和10年に老若男女延べ2千数百人の勤労奉仕によって立派な社殿が完成したが、昭和40年に落雷で全焼してしまった。
昭和44年、大坊山の桧を勤労奉仕により伐採、運搬製材を行い、多額の浄財によって、大坊山の中腹に社殿と参道が完成した。
大山祇神社の神楽奉納の起源は、文政年間（1818～1830）奉納の絵馬や、神社別当を務めた飯塚家に伝わる天保年間（1830～1844）の文書から、江戸末期には既に奉納されていたことが分かる。
春祭り・秋祭りには、毛野大坊山ハイキング大会も開かれる。