曽我の隠れ岩は、曽我兄弟（兄十郎祐成、弟五郎時致）が、岩の東側にあったとされる工藤祐経の陣屋を偵察し、討ち入りの密議を行った場所と伝えられています。

曽我兄弟の討ち入りは、兄弟の父、河津三郎祐泰が領地争いから伊豆で工藤祐経に暗殺されたことに始まり、成長した兄弟が仇討ちを念願し、建久4年(1193年)5月28日の宵、富士の巻狩りに参加していた工藤祐経を討ったとされる事件です。

富士の巻狩りの際、曽我八幡宮東の辺りに新田四郎忠常の陣所が置かれ、この近くで兄十郎祐成が討たれたといわれています。曽我八幡宮にほど近い小高い丘の上に曽我兄弟の霊地があります。