安政6年6月、初代アメリカ公使として下田からハリスが到着しました。昭和11年日米協会によって建てられたハリスの記念碑があります。また当時の寺僧の記録「亜墨利加ミニストル旅宿記」(区指定)が残されています。