詳しくは robots.txt の概要とガイド | Google 検索セントラル  |  Google Developers を参照してください。freoを利用してサイト構築するうえで、検索サイト(Google等)に捕捉されたくないページをrobots.txtというファイルに記述し、サイトのルートディレクトリに置きます。以下記述例です。 User-agent: * Disallow: /login Disallow: /regist Disallow: /reissue Disallow: /filter Disallow: /clap Disallow: /form Disallow...

Read More