三宅島の壬生家に伝わる、通称「三宅記」別名「三島大明神縁起」という書があります。この書によれば、薬師如来の申し子として天竺に生まれた三島明神は無実の罪に問われて追放され、唐・高麗を経て日本にやってきます。
そして富士山の神に出会い一緒に島を作り始め、伊豆に十の島を創生しました。その中で一番最初に作った島が初島です。

第一の島をば初の島と名付け給う。

第二の島をば島々の中程に焼き出し、それに神達集り給いて詮議有りし島なれば神集島と名付け給えり。

第三の島をば大なる故大島（伊豆大島）と名付け、

第四の島は塩の泡を集めてわかせ給えば　島の色白き故に新島と名付け、

第五の島は家三つ双びたるに似たりとて三宅島と名付け、

第六の島は明神の御倉とおっしゃって御蔵島と名付け、

第七の島ははるかの沖に有りとて沖の島（八丈島）と名付け、

第八の島は小島（八丈小島）と名付け、

第九の島はウの花に似たりとてヲウゴ島（青ヶ島）、

第十の島をば十島（利島）と名付け給う。

伝説スポット/初木神社

人皇第五代孝昭帝の御代、初木姫は日向から東国順憮に向かう途中、伊豆沖で遭難、一人この小島に漂着しました。
姫は毎日磯辺をさまよって、対岸に人がいるのだろうかと、焚き火をたいて合図をしたところ伊豆山の伊豆山彦という一男神がこれにこたえました。　
姫はこれに力を得て、萩を組んで筏にし、草で織った帆を巻いて伊豆山小波戸崎（今の伊豆山港）に渡りました。
初木姫と伊豆山彦との出会い…その場所が伊豆山の逢初橋と言われています。
伊豆山に渡った初木姫は、伊豆山の中腹に登り、木の中に棲む日精・月精という二人の子供をみつけ、乳母としてこの二人の子供を育てました。
その子供が成長し、初木姫はこの二人を夫婦とし、やがてその子孫は繁栄しました。
昔の伊豆山権現の祖先は、この二人だと言われています。
（初木神社碑文より）

初木神社の神殿の下には古代の祈りの場所磐倉（イワクラ）の遺跡が眠っています。

伝説スポット/お初の松

『島の乙女のはや胸に、秘めて高鳴る琴の緒の断たれて悲しい恋の火よ』 悲しい歌に残されている物語です。
大昔、初島は住む人が六軒しかない淋しい島でした。
十七才の美しい乙女が伊豆山のお祭りで、右近という若者を好きになりました。　
「百夜通えば結婚する」という約束でお初は海上三里たらいに乗って通いましたが、九十九日目の夜、お初に横恋慕した男が目印の火を消してしまいました。お初は一晩中海にさまよい波にのまれて死んでしまいました。
右近はお初の弔いに諸国巡礼の旅に、火を消した男は七日七夜苦しんで遂に死んでしまいました。（お初の松碑文より）

伝説スポット/磯内膳の墓

島の東海岸にひっそりとある磯内膳の墓にまつわる物語。 『その昔「磯内膳」と云う小田原の侍が居た。彼は精神病でしかも酒乱の癖があった為、この初島に流され長い間療養していたという。在る時、彼が散歩をしていると通りかかった農夫「越後孫兵衛」の運ぶ肥料の露が袴に掛かってしまった。すると、それに腹を立てた内膳は孫兵衛に果し合いを迫った。困った孫兵衛は家に戻って考えた末、覚悟を決めて大きな斧を研ぎ始めた。そんな孫兵衛の様子を見た内膳は彼の勇気に驚き「お主の心はわかった。」と許したという。そんな内膳はその後もしばしば島民を困らせた為、御上より切腹を命じられ「小田原の見えるところに埋めてくれ」と言い残しこの世を去った。』（碑文より）