在巨大岩石的一旁設有元和吉利支丹遺跡石碑與說明板。江戶幕府三代將軍德川家光在日本元和9年（西元1623年）於此處刑了50位吉利支丹（註釋：吉利支丹是日本戰國時代、江戶時代乃至明治初期對國內天主教徒的稱呼），而且據說15年後又於此處刑了許多吉利支丹。在遠藤周作的短篇小說「札之辻」之中，主角「男性」與修道士「老鼠」也在此處發生了一段故事。

據社傳記載從平安時代中期左右，便是都內少數祭祀著伊勢宮分靈的古神社。明治以後稱為芝大神宮，但在此前稱為飯倉神明宮、芝神明宮。回憶起芝之神明，就會想起於文化2年2月，在神明境內舉辦的四車八大、水引清五郎等化緣相撲，以及平息此區因惠組之鳶釀成的紛亂事件「惠組喧嘩」。神明的大門前，在當時港區，也算是相當繁華的鬧區。由於相撲和歌舞伎允許在神社境內舉辦，所以江戶時代可說是此類藝文活動的盛世。據說該劇是江戶三宮劇之一，首次演出於正保2年（1645）的芝神明境內。每年9月舉行的「滴滴答答祭」，因祭典期間極長而得名此名。由於祭典期間，會在神社境內或附近積極銷售生薑，而又暱稱為生薑市。其與小傳馬町的「醃白蘿蔔市」齊名，是連浮世繪也有描繪的江戶百姓趣事之一。祭典期間，會在神社境內販售生薑、千木莒（木盒）以及甘酒。千木莒（木盒）是一種小型的檜木簍，據說能庇佑人避免雷擊；而千木又通千件，謠傳放入五斗櫃中，衣服就會跟著增多。而神社樓梯下方的儲蓄塚，是為了紀念創辦不動儲蓄銀行的牧野元次郎所興建。

這裡有安政 3 年 7 月隨哈里斯抵達下田的荷蘭人赫斯肯的墓（區史蹟），他作為一名得力助手在締結《美日修好通商條約》的交涉過程裡相當活躍。出生於阿姆斯特丹的赫斯肯要前往的地方是美國，因為他會說德語、法語等語言，語言能力受到哈里斯肯定，因此前往日本上任。他性格開朗，熟悉日本國情，是留在江戶的外國人中的知名人士。但他在普魯士使節與日方之間擔任翻譯從赤羽根接待所回來的路上，在中之橋橋邊遭受一群刺客的襲擊。於 1861 年 1 月 15 日去世，得年 28 歲。此外，儘管如今曾被譽為東京第一名花的老櫻已經不在了，但到了每年春天，佛寺境內的紫玉蘭會向人們綻放絢麗的花朵。

東禪寺曾被大英帝國首任駐日公使阿禮國爵士（Sir John Rutherford Alcock）以及第二任公使巴夏禮爵士（Sir Harry Smith Parkes）作為公使使館。東禪寺也因此多次受到了攘夷派浪士的襲擊，奧書院與玄關都保留了當時的樣貌。