詳しくはrobots.txt の概要とガイド | Google 検索セントラル | Google Developersを参照してください。freoを利用してサイト構築するうえで、検索サイト（Google等）に捕捉されたくないページをrobots.txtというファイルに記述し、サイトのルートディレクトリに置きます。以下記述例です。
User-agent: *
Disallow: /login
Disallow: /regist
Disallow: /reissue
Disallow: /filter
Disallow: /clap
Disallow: /form
Disallow: /goodjob上記の例では
- ログイン
- ユーザー登録（設定管理で「訪問者による登録を許可する」に設定している場合のみ）
- パスワード再発行
- フィルター設定（設定管理で「フィルター機能を利用する」に設定している場合のみ）
- プラグインの拍手、フォーム管理、グッジョブ送信
ページへのクロールを拒否しています。
