　俳聖松尾芭蕉が貞享4年（1687）に江戸から伊賀に帰る途中、馬に乗ってこの坂にさしかかったが、急な坂のため馬の鞍とともに落馬したという。そのとき詠んだ季語のない有名な句である。
　宝暦6年（1756）村田鵤州が、杖衝坂の中ほどにその句碑を建てた。
　明治の初期、坂の下釆女西町、永田清一郎氏の庭園に移されたが、このたび現所有者斉藤沢一郎氏ご夫妻のご理解により、再びもとの地に移設したものである。　昭和51年3月吉日

　東海道の中でも急坂な坂で、杖突坂とも書く。倭建命（やまとたけるのみこと）が東征の帰途、大変疲れられ　「其地より、やや少し幸行（いで）ますに甚（いた）く疲れませるに因りて、御杖を衝きて、稍（やや）歩みたまひき。故、其地を号（なづ）けて杖衝坂と謂う」（古事記）とあり、杖衝坂と称されるようになった。
　元禄元年（1688）芭蕉が旅の途中、馬に乗っておの坂を越えようとしてあまりの急坂に落馬して詠んだ句　「歩行ならば杖つき坂を落馬かな」　により、更にその名が世に広まった。また、坂を上りきった所には、倭建命の足の出血を封じたといわれる血塚の祠がある。
　杖衝坂にある二つの井戸は、坂の上手の井戸を　「弘法の井戸」、下手のものを　「大日の井戸」　といい、前者は弘法大師が水に困っている村人に杖で指し示され、そこを掘ったところ清水が湧き出た井戸であると伝えられている。後者は、坂の中腹にあった大日堂に備える閼伽水（あかみず・仏に供える水）を汲み上げた井戸と伝承され、二つの井戸は大切に守られている。