阿伏兎岬周辺の海域は、古くから潮流が激しく渦巻く備後灘の航路の難所として知られていました。平安時代の康保年間（964, 968年）、花山法皇がこの海域を航行する船の安全を祈念し、岬の岩上に十一面観音石仏を祀らせたことが磐台寺観音堂の草創と伝えられています。
海から突き出た自然の巨岩の上に木造建築を構築する懸造（かけづくり）の様式は、京都の清水寺などにも通じる卓越した伝統技術です。足を踏み入れると床が海側へと傾斜しており、眼下には白波が砕け散る瀬戸内海が広がります。かつて西国航路を進む船人たちは、海上からこの朱色の観音堂を仰ぎ見ながら舵を取り、旅の無事を祈り続けました。
