詳しくはrobots.txt の概要とガイド | Google 検索セントラル  |  Google Developersを参照してください。freoを利用してサイト構築するうえで、検索サイト(Google等)に捕捉されたくないページをrobots.txtというファイルに記述し、サイトのルートディレクトリに置きます。以下記述例です。

User-agent: *
Disallow: /login
Disallow: /regist
Disallow: /reissue
Disallow: /filter
Disallow: /clap
Disallow: /form
Disallow: /goodjob

上記の例では

  • ログイン
  • ユーザー登録(設定管理で「訪問者による登録を許可する」に設定している場合のみ)
  • パスワード再発行
  • フィルター設定(設定管理で「フィルター機能を利用する」に設定している場合のみ)
  • プラグインの拍手、フォーム管理、グッジョブ送信

ページへのクロールを拒否しています。