文治五年、兄・源頼朝と対立した義経は藤原泰衝に襲撃され、自害した。
これが歴史の通説だが、東北地方には義経が生き延びて北海道へ向かう義経伝説がいくつも残されている。
衣川の館に火をつけ自害を装って、北へ逃れた義経は三厩に辿り着いた。近くに蝦夷が島を望むが、荒れ狂う津軽海峡が行く手を挟み、渡ることができなかった。
義経は観音様に三日三晩祈願した。満願の晩に白髪の翁が現れ、「三頭の龍馬を与える。これに乗って渡るがよい」と云って消えた。
翌朝、岩穴には三頭の龍馬がつながれていて、義経はそれに乗り無事蝦夷が島に渡ることができた。それから龍馬がつながれた岩穴を厩石、この地を三馬屋(三厩)と呼ぶようになった。