山陽電鉄須磨寺駅から須磨寺前商店街を通って北西へ約450mのところにある。正式には上野山福祥寺だが、古くから須磨寺と称されてきた。宗派は真言宗。創建は同寺の縁起では近くの和田岬の海中より出現した聖観世音菩薩像を安置するため、淳和天皇の勅命で会下山（兵庫区会下町）に北峰寺が建立されたのち、886（仁和2）年には光孝天皇の勅命によって現在の地に福祥寺を建立し、本尊として聖観世音菩薩像を遷したのが、当山の開基であると伝えている。ただ、同寺の他の寺伝では、開基後、寺勢が衰微した時期があったものの1169（嘉応元）年に源頼政が寺領を寄進し再興した際に、本尊の聖観世音像が安置されたとも伝えられている。
　中世以降、たびたび地震、山崩れなど自然災害に堂宇の崩壊、再建が繰り返されたが、江戸後期の「摂州名所図会」に描かれている伽藍配置を現在までほぼ復元・再建、維持をしてきた。さらに1984（昭和59）年には紙本著色参詣曼陀羅図（桃山時代）に描かれていた三重塔も再建された。1995（平成7）年の阪神・淡路大震災においても境内全域で甚大な被害を受け、その後、諸堂＊1の改修、修理、再建を順次進め、復旧を果たしている。
　また、同寺は「平家物語」や浄瑠璃「一谷嫩軍記」＊2の舞台でもあり、うっそうたる樹木に抱かれた境内には平敦盛と熊谷直実の像、敦盛首塚、義経腰掛松など一ノ谷合戦を思い起こさせる記念像、事蹟、史跡などが点在する。このような歴史的背景から古来より文人墨客に愛され、境内には芭蕉、良寛、子規、蕪村、山本周五郎などの句碑、文学碑＊3が立つ。
　宝物館＊4には「青葉の笛」など源平にまつわる品々が、本堂には室町期の作で光背の透彫に優れる十一面観音などが安置されている。