01User-Agent
サイト運営者の方がアクセスログで識別できるよう、以下の User-Agent 文字列を使用します。
Mozilla/5.0 (compatible; MarketKernelBot/0.1; +https://marketkernel.jp/crawler.html)User-agent: MarketKernelBot
Disallow: /下の2行は、当社クローラーを全面的に除外する場合の robots.txt の記述例です。
トークン名を変更する場合は、本ページに新旧を併記し、旧トークンに対する robots.txt の指定も引き続き尊重します。
02アクセス規律
頻度
日次バッチ、1日1回。実行時刻は対象地域の低トラフィック時間帯（日本時間 03:00〜05:00）
並列性
カテゴリ間は逐次実行。並列化しない
リクエスト間隔
最低5秒、ジッタ ±2秒。1回の実行は数分で終わる
robots.txt
毎回取得し、遵守する。その内容もスナップショットとして保存する（許諾条件が変わった日を後から特定できるようにするため）
429 / 503
受け取ったら当日の当該サイトの取得を即座に中断し、欠測として記録する。リトライしない
IP
同一 IP からの実行。プロキシローテーションを行わない
CAPTCHA
自動で解かない
検知回避
ヘッドレスブラウザの検知回避（fingerprint 偽装等）を実装しない
連続ブロック
3日連続で
blocked の場合、取得を停止して設計を見直す。回避策を実装しないPrinciple
Bot対策の回避を要するサイトは、自前取得の対象から外れます。「回避しない」は技術方針ではなく、対象選定の方針です。技術的に可能かどうかではなく、回避せずに取れるかどうかで対象を決めます。取れないサイトは有償データプロバイダに回すか、対象から外します。この判断を都度の裁量に委ねません。
03取得対象
| 種別 | 内容 | 頻度 |
|---|---|---|
| カテゴリ一覧ページ 1ページ目 | 総件数、上位表示の並び | 日次 |
| 同 2〜3ページ目 | 上位以外の分布 | 週次 |
| カテゴリのメタ情報ページ | 階層構造の変化検知 | 週次 |
robots.txt | 許諾条件の記録 | 毎回 |
個別の出品詳細ページは現在取得していません。対象は初期14カテゴリ（主群9・対照群3・境界群2）で、Fiverr は自前取得ではなく有償データプロバイダ経由です。対象サイトと、候補を含む全ソースの確認状態は観測ソースに公開しています。
04取得しないもの
- ログインを要するページ。クローラに認証情報を持たせません
- 個人を特定できる情報（出品者名、プロフィール文、アイコン画像）
- 取引情報、メッセージ、購入者情報
robots.txtで拒否されているパス- Bot対策の回避を要するサイト全般
05除外の依頼
サイト運営者の方で、当社クローラーのアクセスを望まれない場合は、次のいずれかで対応します。
robots.txtで拒否する当社クローラーは毎回robots.txtを取得し、翌回の実行から反映します。User-agent: MarketKernelBotに対するDisallowを記載してください。連絡するお問い合わせから「クローラーに関する連絡」を選び、対象ドメインをお知らせください。確認後、対象から除外します。
アクセスに関する疑問（頻度、負荷、取得内容）についても同じ窓口で受け付けています。