大久保忠佐の死後、1614年に三枚城は廃城になった。
その後沼津は天領となり、韮山の代官・江川太郎左衛門の支配下にあった。
初代沼津潘主・水野出羽守忠友は1777年、将軍家治の御側用人になり加増されて2万石の大名になった。この時忠友は沼津の地に所領（1万2千石）を与えられ、将軍から築城を命ぜられている。
翌1778年2月8日に「従是西　沼津領」の杭が韮山代官所から運ばれ、東海道沿いの黄瀬川村と下石田村の境界に建てられ沼津藩領が確定した。
水野家はその後5万石になり明治維新まで8代続き、忠友以下8名の老中や若年寄を排出した名家である。
榜示杭はその後石製の物に作り替えられ何度か小移転されたが、元々は当駐車場右端に建てられていたものである。