大きな岩石の横に、元和キリシタン遺跡の碑と説明板があります。江戸三代将軍・徳川家光が元和9年に50人のキリシタンを処刑した跡で、15年後にも同じ場所でキリシタンが処刑されたと言います。ここを舞台に主人公の「男」と修道士の「ネズミ」をめぐる物語をつづったのが、遠藤周作の短編「札の辻」です。

社伝によると、平安時代の中ごろに伊勢宮の分霊をまつったといわれる都内有数の古社。芝大神宮という名称は明治以降のもので、それ以前は飯倉神明宮、芝神明宮などと呼ばれていました。芝の神明で思い出すのは、文化2年2月に神明境内で行われた四つ車大八、水引清五郎などの勧進相撲と、このあたり一帯を縄張りとする火消し、め組の鳶との間に起こった、「め組の喧嘩」ですが、神明の門前は当時の港区でもかなりにぎやかな繁華街でした。江戸時代、相撲や芝居は寺社の境内で興行することを許され盛んになりました。芝居は江戸三宮芝居の一つとして、正保2年（1645）芝神明境内で行われたのが最初といわれています。毎年9月に行われる「だらだらまつり」は期間の長いことからその名がついたといわれ、祭礼中に境内やその付近で生姜を盛んに売ったことから生姜市とも呼ばれています。小伝馬町の「べったら市」と共に有名で、浮世絵にも描かれたほど江戸庶民の楽しい行事のひとつでした。まつりの期間中、境内では生姜、千木筥（箱）、甘酒が売られます。千木筥（箱）は雷よけとも、千木が千着に通じるところからタンスの中に入れておくと着物が増えるともいわれる小判型の檜割籠。階段下には、不動貯蓄銀行を興した牧野元次郎の業績を記念する貯金塚が建っています。

安政3年7月ハリスとともに下田に着き、その片腕として日米修好通商条約締結交渉に活躍したオランダ人ヒュースケンの墓（区史跡）があります。アムステルダムで生まれたヒュースケンは渡航先のアメリカで、ドイツ語、フランス語等もできる語学力をハリスにかわれて日本に赴任しました。陽気闊達な気質と日本の国情に精通した見識で、江戸に滞留する外国人間で知名士でしたが、プロシア使節と日本人側との通訳として通っていた赤羽根接遇所からの帰り道、中の橋のたもとで刺客の一団に襲われました。1861年1月15日のことで、享年28歳でした。また、昔都下第一の名花とうたわれたという老桜は今はありませんが、春になると境内の桜、木蓮が見事な花を見せてくれます。

東禅寺は、イギリスの初代公使であるオールコックと次代公使のパークスにより公使宿館として使用されていました。何度か攘夷派浪士の襲撃にあったが、奥書院と玄関は当時のままの姿を残しています。