坂の両側に寺院が並び、ものさびしい坂であるため、この名がついたらしいですが、有礼坂の説もあります。萩生徂徠の墓がある長松寺、御化粧地蔵がある玉鳳寺、朝顔塚がある随応寺などがあります。幽霊坂は東京中に多く7か所ほどもあります。