Sources
どこからデータを集めているか。
観測対象は「回避せずに取れるか」で決めます。技術的に可能かどうかではありません。取れないサイトは有償プロバイダに回すか、対象から外します。ここでは候補を含む全ソースと、その確認状態を公開します。
| ソース | 地域 | 信号 | 種別 | 役割 | 取得手段 | 頻度 | 状態 | 確認 |
|---|---|---|---|---|---|---|---|---|
| ココナラrobots.txt の最新版を逐語確認し、第14条(集計データの権利帰属)を弁護士レビューの主対象にする。描画方式は Day 1 の実測で確定。 | 日本 | サービス市場 | 出品型 | 供給 | 自前取得(非ログイン・公開カテゴリページのみ) | 日次 | 実稼働 | robots …規約 …Bot … |
| フリーランススタート 月次レポート(エン)掲載案件数と、開発言語・フレームワーク・職種別の月額平均単価。過去分が公表済みのため遡って取り込める。IT 領域の日本側単価アンカー。2026-08-25 準備中→実稼働 | 日本 | 求人 | 求人集計の公表値 | 需要/単価アンカー | 公表値の取り込み(プレスリリース) | 月次 | 実稼働 | robots —規約 …Bot — |
| 厚生労働省「一般職業紹介状況」職業別有効求人倍率職業分類別に数十年分。付録Aの陰性/陽性対照を、公的統計の需要方向で補強する。2026-08-25 準備中→実稼働 | 日本 | 公的統計・公表値 | 公的統計 | 較正・対照 | 公表値の取り込み(e-Stat) | 月次 | 実稼働 | robots —規約 ○Bot — |
| 日本上場3社 IR(ココナラ・クラウドワークス・ランサーズ)流通高・出品数・会員数。絶対量の較正に使えるのは開示されている項目のみ(クラウドワークスの取扱高は非開示)。2026-08-25 準備中→実稼働 | 日本 | 公的統計・公表値 | 決算・KPI 開示 | 較正・対照 | 公表値の取り込み | 四半期 | 実稼働 | robots —規約 ○Bot — |
| Fiverr自前取得は Bot 対策の回避を要するため行わない。プロバイダ規約の再配布範囲と、検索レスポンスに総件数が含まれるかを確認。 | 米・英語圏 | サービス市場 | Gig型(カタログ) | 供給 | 有償データプロバイダ経由 | 日次 | 実稼働 | robots —規約 …Bot — |
| Indeed Hiring Lab(Job Postings Index/AI Tracker)季節調整済みの求人指数と AI 関連求人比率。粒度は職種セクターまで。AI 系カテゴリの先行指標と、マクロの対照として使う。2026-08-25 準備中→実稼働 | グローバル | 求人 | 求人集計(オープンデータ) | 需要の先行指標/較正・対照 | GitHub から取り込み(CC BY 4.0・出典明記) | 日次データ(週次/月次更新) | 実稼働 | robots —規約 ○Bot — |
| プラットフォーム公式レポート(Fiverr Business Trends Index/Upwork Future Workforce Index/Freelancer Fast 50)カテゴリ別の成長率など。自社観測の方向性の裏取りに使い、指数の入力にはしない。2026-08-25 準備中→実稼働 | グローバル | 公的統計・公表値 | 公表レポート | 較正・対照 | 公表値の取り込み | 年次/四半期 | 実稼働 | robots —規約 …Bot — |
| ココナラ募集カテゴリ・予算・期限が公開されている需要側の一次情報。/requests に対する robots.txt を逐語確認してから追加する。2026-08-25 準備中→実稼働2026-08-27 実稼働→接続試験中 | 日本 | サービス市場 | 募集型(購入者の依頼投稿) | 需要 | 自前取得候補(非ログイン・一覧ページ) | 日次 | 接続試験中 | robots …規約 …Bot … |
| Google Trends API(alpha)リクエスト間で一貫したスケール、過去1,800日、地域・サブ地域別。絶対量ではなく検索関心度。Web 版の0〜100再スケールの問題を回避できる。2026-08-25 準備中→実稼働2026-08-27 実稼働→接続試験中 | グローバル | 検索 | 検索関心度(一貫スケール) | 検索需要 | 公式 API(許可制アルファに申請) | 日次 | 接続試験中 | robots —規約 …Bot — |
| Stack Exchange API(Stack Overflow タグ)タグ別の質問数の増減。開発系カテゴリ(AI Agent、n8n、Code Review)の技術需要の先行代理。求人・サービス市場と種類の異なる信号。2026-08-25 準備中→実稼働2026-08-27 実稼働→接続試験中 | グローバル | コミュニティ | 技術 Q&A(タグ別の質問数) | 需要の先行指標 | 公式 API(要キー・CC BY-SA 出典明記) | 日次 | 接続試験中 | robots —規約 ○Bot — |
| Voice123実査:robots.txt は一覧を許可、公開プロジェクト一覧に識別 UA で 200。規約を確認して Phase 0 の日次へ。Fiverr/Upwork の Voice 系と一致すれば M が上がる。2026-08-25 準備中→実稼働2026-08-27 実稼働→接続試験中 | グローバル | 専門市場 | 専門市場(音声・ナレーション) | 需要/供給 | 自前取得候補(公開プロジェクト一覧) | 日次(予定) | 接続試験中 | robots ○規約 …Bot ○ |
| Saramin(사람인)オープン API韓国側の雇用需要。Kmong(サービス市場)と対にして、外注需要と雇用需要を別レイヤーで持つ。API 利用規約を確認して申請。2026-08-25 準備中→実稼働2026-08-27 実稼働→接続試験中 | 韓国 | 求人 | 求人(雇用需要) | 雇用需要 | 公式オープン API(要キー) | 日次 | 接続試験中 | robots —規約 …Bot — |
| 官公需情報ポータル(KKJ)国・地方公共団体の入札・公募情報を API で取得できる。カテゴリ語彙と MarketKernel の市場定義の対応を作ってから指標化。 | 日本 | 公共調達 | 公共調達(中小企業向け入札情報) | 需要 | 公式 API | 日次(予定) | 準備中 | robots —規約 …Bot — |
| O*NET(米国の職業データベース)米国側の職業・スキル体系。Market Ontology の英語側の骨格と、雇用需要レイヤーの職業分類の対応に使う。 | 米・英語圏 | 分類辞書 | 分類辞書(職業・スキル) | 較正・対照 | 公式 Web サービス/データダウンロード | 版ごと | 準備中 | robots —規約 ○Bot — |
| USAspending.gov(米国連邦支出・契約)公告ではなく契約実績(金額)。公共調達需要の絶対量アンカーの候補。 | 米・英語圏 | 公共調達 | 落札・支出(実績) | 需要 | 公式 API | 月次(予定) | 準備中 | robots —規約 ○Bot — |
| 米国労働統計局(BLS)API職業別の雇用・賃金。米国側の対照群。 | 米・英語圏 | 公的統計・公表値 | 公的統計(雇用・賃金) | 較正・対照 | 公式 API | 月次 | 準備中 | robots —規約 ○Bot — |
| Cedefop Skills-OVATE(EU オンライン求人分析)EU 全域のオンライン求人を職業・スキル別に集計。欧州側の雇用需要の較正用。 | 欧州 | 企業直結の求人 | 求人集計(公表値) | 雇用需要/較正・対照 | 公表値の取り込み | 四半期 | 準備中 | robots —規約 ○Bot — |
| Contracts Finder(英国)OCDS 形式の公告・落札データ。英国側の公共調達需要。 | 欧州 | 公共調達 | 公共調達(公告・落札) | 需要 | 公式 API(OCDS) | 日次(予定) | 準備中 | robots —規約 ○Bot — |
| ESCO(欧州のスキル・職業分類)Market Ontology の対応表の基盤。表層表現の多言語対応(日本語↔英語↔欧州語)を、自前の対応表だけに頼らず参照できる。指標には使わない。 | 欧州 | 分類辞書 | 分類辞書(多言語) | 較正・対照 | 公式 API/データダウンロード | 版ごと | 準備中 | robots —規約 ○Bot — |
| Eurostat API欧州側の対照群。 | 欧州 | 公的統計・公表値 | 公的統計 | 較正・対照 | 公式 API | 月次〜四半期 | 準備中 | robots —規約 ○Bot — |
| TED(EU 官報の調達公告)EU の公共調達公告。CPV コードで分類されるため、Market Ontology との対応表を先に作る。 | 欧州 | 公共調達 | 公共調達(公告) | 需要 | 公式 API(TED API) | 日次(予定) | 準備中 | robots —規約 ○Bot — |
| 英国国家統計局(ONS)API英国側の対照群。 | 欧州 | 公的統計・公表値 | 公的統計 | 較正・対照 | 公式 API | 月次 | 準備中 | robots —規約 ○Bot — |
| クラウドワークス第23条(過負荷・アクセス制御回避・運営妨害)と robots.txt の許可範囲を逐語確認。 | 日本 | サービス市場 | 募集応募型 | 需要 | 自前取得候補(公開案件一覧) | 日次 | Phase 1 | robots …規約 …Bot … |
| ランサーズ第31条(複製・2次利用)を確認。コンペ型という市場構造の観測先にもなる。 | 日本 | サービス市場 | 募集応募型+コンペ型 | 需要 | 自前取得候補(公開案件一覧) | 日次 | Phase 1 | robots …規約 …Bot … |
| Upwork公式 API は自アカウントのデータのみ。求人件数には予算帯を必ず併記する。 | 米・英語圏 | サービス市場 | 求人・提案型 | 需要/供給 | 有償データプロバイダ経由 | 日次 | Phase 1 | robots —規約 …Bot — |
| Freelancer.com入札数は需要ではなく供給側の指標として扱う。 | グローバル | サービス市場 | プロジェクト・入札型 | 需要/供給 | 未定(プロバイダ経由または自前) | 日次 | Phase 1 | robots …規約 …Bot … |
| Brain/Tipsカテゴリ名を含む「稼ぐ」系商品の出現数。小売レイヤーの過熱を観測する装置で、供給急増の先行指標。 | 日本 | 学習・ノウハウ | ノウハウ商品(出品数) | ハイプ指数 | 未定 | 週次(予定) | 読むだけ | robots …規約 …Bot … |
| MENTAスキル別のメンター数と契約数。 | 日本 | 学習・ノウハウ | メンタリング出品型 | 供給の先行指標 | 未定 | 週次(予定) | 読むだけ | robots …規約 …Bot … |
| Qiita Jobsサービスの継続状況を含めて確認。 | 日本 | 求人 | 求人(技術職) | 雇用需要 | 未定 | — | 読むだけ | robots ○規約 …Bot … |
| SKIMAココナラ「似顔絵・イラスト」の対照。 | 日本 | 専門市場 | イラスト出品型 | 供給 | 未定 | 日次(予定) | 読むだけ | robots …規約 …Bot … |
| Wantedly実査:robots.txt は募集一覧を許可。規約と一覧ページの応答を確認。日本側の雇用需要(AI・開発系)の候補。 | 日本 | 求人 | 求人(スタートアップ中心) | 雇用需要 | 未定(公開一覧) | 日次(予定) | 読むだけ | robots ○規約 …Bot … |
| Yahoo!知恵袋期間指定した質問件数の差分。日本の相談行動が Google 検索に乗らない部分を補う。 | 日本 | コミュニティ | Q&A(質問件数) | 検索意図 | 未定 | 週次(予定) | 読むだけ | robots …規約 …Bot … |
| noteキーワード別の記事件数。発信者側の関心の先行指標。 | 日本 | コミュニティ | コンテンツ(記事件数) | 検索意図/供給の先行指標 | 未定 | 週次(予定) | 読むだけ | robots …規約 …Bot … |
| ストアカ日本側の学習需要。 | 日本 | 学習・ノウハウ | 講座出品型 | 供給の先行指標 | 未定 | 週次(予定) | 読むだけ | robots …規約 …Bot … |
| 調達ポータル(政府電子調達)政府・公共機関の発注需要。外注需要(サービス市場)と分けて「公共調達需要」レイヤーで持つ。CSV ダウンロードの利用条件を確認。 | 日本 | 公共調達 | 公共調達(公告・入札) | 需要 | 公式の CSV/検索 | 日次(予定) | 読むだけ | robots …規約 …Bot … |
| BLS 職業別 AI 曝露度カテゴリ(米国労働統計局)2025〜2035年の雇用予測とあわせて公開された、職業ごとの AI 曝露度の区分。**Research(市場分析)でのみ使い、需給指数には混ぜない。** 理由は2つ。(1) BLS 自身が「雇用減少・代替確率・生産性・賃金の予測ではない」と明記していること、(2) 米国の職業分類(SOC)であり、MarketKernel の市場定義とは粒度も母集団も異なること。使う場合は SOC → MarketKernel カテゴリの対応表を別バージョンとして作り、対応の根拠を残す。 | 米・英語圏 | official | 公的統計・職業分類 | 対照・外部比較 | 公表値の取り込み(XLSX) | 年次 | 読むだけ | robots ○規約 ○Bot — |
| SAM.gov(米国連邦調達)米連邦政府の調達公告。NAICS/PSC コードとの対応が必要。API の利用条件を確認。 | 米・英語圏 | 公共調達 | 公共調達(公告) | 需要 | 公式 API(要キー) | 日次(予定) | 読むだけ | robots —規約 …Bot — |
| SnipeWork Upwork Job Scanner(Apify)1,000件あたり7ドルから。Upwork 需要側の上流データ候補。採用前に (1) 再配布・再利用の権利、(2) 提供元の取得規律(robots・規約の遵守)、(3) 各レコードの provenance(取得日時と元 URL)の3点を確認する。ここが満たせない場合は、監査経路が途切れるため採用しない。 | 米・英語圏 | サービス市場 | 求人フィード(構造化 JSON・有償) | 需要 | 有償データプロバイダ経由 | 約2分ごと(提供元表記) | 読むだけ | robots —規約 …Bot — |
| USAJOBS API(米国連邦政府求人)米連邦政府の求人。公共部門の雇用需要。 | 米・英語圏 | 企業直結の求人 | 政府系求人 API | 雇用需要 | 公式 API(要キー) | 日次(予定) | 読むだけ | robots —規約 …Bot — |
| Upwork 公式 MCP サーバー2026-08-10 公開。AI クライアントから求人作成・人材探索まで行える。取引実行が目的の口であり、観測に使えるかは規約次第。MarketKernel は取引を実行しないため、使うとしても検索結果の件数など読み取り側に限る。まず利用規約の確認から。 | 米・英語圏 | サービス市場 | 取引実行インターフェース(求人作成・人材探索) | 需要 | 公式 MCP(要認証・要規約確認) | — | 読むだけ | robots —規約 …Bot — |
| 99designsLOGO_DESIGN に第3の市場構造(コンペ型)を足す。 | グローバル | 専門市場 | コンペ型 | 需要/供給 | 未定 | 日次(予定) | 読むだけ | robots …規約 …Bot … |
| Adzuna(求人集約 API)多国の求人件数。集約サイトのため二重計上に注意。Indeed Hiring Lab との整合を確認。 | グローバル | 求人 | 求人集約 API | 雇用需要 | 公式 API(要キー・無料枠) | 日次(予定) | 読むだけ | robots —規約 …Bot — |
| GitHub(リポジトリ・スター・Issue の推移)開発系カテゴリ(AI Agent、n8n 等)の技術関心の先行代理。Stack Exchange と同じ「技術採用」レイヤーに置く。 | グローバル | 技術採用・話題性 | 技術採用(公開 API) | 需要の先行指標 | 公式 API(要トークン) | 日次(予定) | 読むだけ | robots —規約 …Bot — |
| Greenhouse/Lever/SmartRecruiters/Recruitee(ATS 公開 API)求人媒体を経由しない一次情報。対象企業のリスト(ボード ID)を先に作る必要がある。各 ATS の利用規約で自動取得の可否を確認。 | グローバル | 企業直結の求人 | 企業直結の求人(ATS の公開 Job Board API) | 雇用需要 | 公式公開 API(企業ごとのボード ID が必要) | 日次(予定) | 読むだけ | robots —規約 …Bot — |
| Hugging Face Hub API(モデル・データセットの動向)AI カテゴリ限定の先行指標候補。 | グローバル | 技術採用・話題性 | AI モデルの採用 | 需要の先行指標 | 公式 API | 日次(予定) | 読むだけ | robots —規約 …Bot — |
| Internet Vacancy Index(豪州 Jobs and Skills Australia)職業別の求人指数(月次)。対照群・較正用。 | グローバル | 企業直結の求人 | 政府系求人指数 | 雇用需要/較正・対照 | 公式オープンデータ | 月次 | 読むだけ | robots —規約 ○Bot — |
| Jobicy(リモート求人 API)軽量。リモート求人に偏るため、対照ではなく補助。 | グローバル | 求人 | 求人 API(リモート) | 雇用需要 | 公式 API(無料) | 日次(予定) | 読むだけ | robots —規約 …Bot — |
| Kaggle/Topcoder(コンペの開催数・参加者数)データ分析・開発の供給側の関心。学習市場と同じ「先行指標」の扱い。 | グローバル | 技術採用・話題性 | コンペ市場 | 供給の先行指標 | 公式 API(Kaggle)/公開一覧 | 週次(予定) | 読むだけ | robots —規約 …Bot — |
| MyCareersFuture(シンガポール)東南アジア英語圏の雇用需要。 | グローバル | 企業直結の求人 | 政府系求人 | 雇用需要 | 公式ポータル(API 有無を確認) | — | 読むだけ | robots …規約 …Bot … |
| OpenStreetMap(Overpass API)オフラインの供給密度(例:写真スタジオ、翻訳事務所)。オンライン市場との対照。ODbL の帰属表示が必要。 | グローバル | 地域の供給密度 | 地域の事業者密度 | 供給 | 公式 API(利用ポリシーあり) | 月次(予定) | 読むだけ | robots —規約 …Bot — |
| ProZ.com公開求人一覧に総件数・言語ペア・専門分野・締切があり、翻訳市場の需要としては最も直接的。実査では robots.txt と一覧ページが識別 UA に 403。回避はせず、許諾・RSS/API の提供有無を確認してから判断する。 | グローバル | 専門市場 | 専門市場(翻訳・通訳の求人) | 需要/供給 | 未定(許諾または公式フィードの有無を確認) | 日次(予定) | 読むだけ | robots ✕規約 …Bot ✕ |
| Product Hunt(新製品ローンチ)ツール系カテゴリの話題性。ノイズが大きいため単独では使わない。 | グローバル | 技術採用・話題性 | 製品ローンチ数 | 需要の先行指標 | 公式 API(要登録) | 日次(予定) | 読むだけ | robots —規約 …Bot — |
| TolokaAI が生む作業(アノテーション、評価、RLHF 系)の需要。実査:robots.txt は許可だが、タスク一覧の閲覧にログインが必要かを確認。非ログインで見えなければ対象外。 | グローバル | マイクロタスク | マイクロタスク(AI 学習・評価) | 需要 | 未定 | — | 読むだけ | robots ○規約 …Bot … |
| Udemy「今そのスキルを学んでいる人の数」は3〜6ヶ月後の供給流入の先行指標。R3(情報の自己破壊)の速度を測る計器。 | グローバル | 学習・ノウハウ | 講座出品型(講座数・受講者数) | 供給の先行指標 | 未定 | 週次(予定) | 読むだけ | robots …規約 …Bot … |
| Voices.com実査:robots.txt が識別 UA に 403。Voice123 で音声市場を先に観測し、本サイトは許諾の有無を確認するに留める。 | グローバル | 専門市場 | 専門市場(音声) | 需要/供給 | 未定 | — | 読むだけ | robots ✕規約 …Bot ✕ |
| We Work Remotely(RSS)同上。RSS の利用条件を確認。 | グローバル | 求人 | 求人 RSS | 雇用需要 | 公式 RSS | 日次(予定) | 読むだけ | robots —規約 …Bot — |
| iTunes Search API(アプリの公開数)アプリ開発カテゴリの需要の先行代理。 | グローバル | 技術採用・話題性 | アプリ市場 | 需要の先行指標 | 公式 API(無料) | 週次(予定) | 読むだけ | robots —規約 ○Bot — |
| npm ダウンロード API/PyPI(BigQuery 公開データ)ライブラリの採用量。AI 系の外注需要に先行するかを検証してから採用。 | グローバル | 技術採用・話題性 | パッケージ利用量 | 需要の先行指標 | 公式 API/公開データセット | 日次(予定) | 読むだけ | robots —規約 ○Bot — |
| 世界銀行 調達データ国際機関の発注実績。対照群として。 | グローバル | 公共調達 | 落札(開発案件) | 較正・対照 | 公式オープンデータ | 月次(予定) | 読むだけ | robots —規約 ○Bot — |
| KONEPS(韓国 調達庁 나라장터)韓国側の公共調達需要。公開データポータルの API 利用条件を確認。 | 韓国 | 公共調達 | 公共調達(公告・落札) | 需要 | 公式オープン API(data.go.kr) | 日次(予定) | 読むだけ | robots —規約 …Bot — |
| KOSIS(韓国 国家統計ポータル)API韓国側の対照群。 | 韓国 | 公的統計・公表値 | 公的統計 | 較正・対照 | 公式 API(要キー) | 月次 | 読むだけ | robots —規約 …Bot — |
| Kmong(크몽)非Google圏の供給側。登録サービス約60万件。 | 韓国 | サービス市場 | 出品型 | 供給 | 未定 | 日次(予定) | 読むだけ | robots …規約 …Bot … |
| Naver DataLab/検索広告キーワードツール韓国側の検索需要。Kmong の供給と対にする。自動取得の可否は規約で確認。 | 韓国 | 検索 | 検索トレンド(相対指数)/月間検索数 | 検索需要 | 公開ツール/広告アカウント経由 | 日次/月次 | 読むだけ | robots —規約 …Bot — |
| Wishket(위시켓)案件数・予算が公開。韓国側の需要。 | 韓国 | サービス市場 | IT 入札型 | 需要 | 未定 | 日次(予定) | 読むだけ | robots …規約 …Bot … |
| Work24(韓国 雇用労働部・워크넷)Saramin API と並ぶ韓国側の雇用需要。政府系のため求人媒体の偏りが小さい。 | 韓国 | 企業直結の求人 | 政府系求人 API | 雇用需要 | 公式オープン API | 日次(予定) | 読むだけ | robots —規約 …Bot — |
| 猪八戒网同一カテゴリが省ごとに別 URL。target_id の地域次元はこのために確保している。需求側一覧の取得可否も確認。 | 中国 | サービス市場 | 入札型(省別サブサイト) | 需要/供給 | 未定 | 日次(予定) | 読むだけ | robots …規約 …Bot … |
| 104外包網繁体字。中国語オントロジーの検証場の候補。公開前検査(2026-08-25)で日本国外からの接続が確立せず、地域制限の可能性。実査は国内回線から行う。 | 台湾 | サービス市場 | 案件型(予算公開) | 需要 | 未定 | 日次(予定) | 読むだけ | robots …規約 …Bot … |
| TaiwanJobs(台湾 労働部)台湾側の雇用需要。104外包網(案件型)と対にする。 | 台湾 | 企業直結の求人 | 政府系求人 | 雇用需要 | 公式オープンデータ | 日次(予定) | 読むだけ | robots —規約 …Bot — |
| Codeur.com需要と供給が同時に見える。EU を言語別に分解する際のフランス語側の起点。 | フランス | サービス市場 | 入札型(案件数・見積数) | 需要/供給 | 未定 | 日次(予定) | 読むだけ | robots …規約 …Bot … |
| ComeUp(旧 5euros)フランス語圏の出品型。 | フランス | サービス市場 | 出品型 | 供給 | 未定 | 日次(予定) | 読むだけ | robots …規約 …Bot … |
| France Travail API(旧 Pôle emploi)フランス側の雇用需要。Codeur/Malt(外注)と対にする。ROME 分類との対応が必要。 | フランス | 企業直結の求人 | 政府系求人 API | 雇用需要 | 公式 API(要登録) | 日次(予定) | 読むだけ | robots —規約 …Bot — |
| Arbeitnow(求人 API)欧州(独語圏中心)の求人。 | 欧州 | 求人 | 求人 API | 雇用需要 | 公式 API(無料) | 日次(予定) | 読むだけ | robots —規約 …Bot — |
| Malt出品型ではなくプロフィール型。単価の較正に使う。 | 欧州 | サービス市場 | プロフィール型(日額単価) | 供給/単価アンカー | 未定 | 週次(予定) | 読むだけ | robots …規約 …Bot … |
| PeoplePerHour実査:robots.txt の取得で 202(challenge 応答)。Bot 対策の疑いがあるため、回避せずに取れるかを再確認。英国側の入札型。 | 欧州 | サービス市場 | 入札型 | 需要/供給 | 未定 | — | 読むだけ | robots …規約 …Bot ✕ |
| Workanaスペイン語・ポルトガル語圏。 | 中南米 | サービス市場 | 入札型 | 需要/供給 | 未定 | 日次(予定) | 読むだけ | robots …規約 …Bot … |
| GeBIZ(シンガポール)同上。 | グローバル | 公共調達 | 公共調達 | 需要 | 公式ポータル | — | 後回し | robots —規約 —Bot — |
| Compras.gov.br(ブラジル)同上。 | 中南米 | 公共調達 | 公共調達 | 需要 | 公式 API | — | 後回し | robots —規約 —Bot — |
| Mercado Público(チリ)/SECOP(コロンビア)中南米の公共調達。ライセンシーの対価が確定した地域から着手。 | 中南米 | 公共調達 | 公共調達(公告・落札) | 需要 | 公式 API/オープンデータ | — | 後回し | robots —規約 —Bot — |
| Kwork露・CIS 圏の出品型。ライセンシーの対価が確定した地域から観測を始める(第3.3節)。 | 露・CIS | サービス市場 | 出品型 | 供給 | — | — | 後回し | robots —規約 —Bot — |
| Bionlukトルコ語圏の出品型。同上。 | トルコ | サービス市場 | 出品型 | 供給 | — | — | 後回し | robots —規約 —Bot — |
| Khamsat/Mostaql(Hsoub)アラビア語圏。同上。 | アラビア語圏 | サービス市場 | 出品型/案件型 | 供給/需要 | — | — | 後回し | robots —規約 —Bot — |
| Yahoo!クラウドソーシング会員登録必須。対象外。 | 日本 | マイクロタスク | マイクロタスク(アンケート等) | 需要 | — | — | 対象外 | robots —規約 —Bot — |
| Amazon Mechanical Turk実査:worker.mturk.com の robots.txt が全面 Disallow、HIT 一覧はログイン必須。非ログイン原則の対象外。研究者が公開している集計(HIT 数の追跡)の利用可否は別途検討。 | 米・英語圏 | マイクロタスク | マイクロタスク(HIT) | 需要 | — | — | 対象外 | robots ✕規約 —Bot — |
| Prolific実査:app.prolific.com の robots.txt が全面 Disallow、スタディ一覧は参加者ログイン後にのみ表示。対象外。 | 米・英語圏 | マイクロタスク | マイクロタスク(調査・AI 評価) | 需要 | — | — | 対象外 | robots ✕規約 —Bot — |
| Glassdoor/Google Jobs/LinkedIn規約が自動取得を禁止。公開 API も用途が限定される。対象外。 | グローバル | 求人 | 求人集約・SNS | 雇用需要 | — | — | 対象外 | robots —規約 ✕Bot — |
| Indeed(求人ページの直接取得)実査:robots.txt は検索ページを許可するが、検索ページは識別 UA に 403、規約はスクレイピングを禁止。雇用需要は Indeed Hiring Lab のオープンデータで取る。 | グローバル | 求人 | 求人(雇用需要) | 雇用需要 | — | — | 対象外 | robots ○規約 ✕Bot ✕ |
| Microworkersタスク一覧はログイン必須。対象外。 | グローバル | マイクロタスク | マイクロタスク | 需要 | — | — | 対象外 | robots —規約 —Bot — |
| Reddit(専門コミュニティ)実査:robots.txt が識別 UA に 403。商用利用の API は個別契約が必要。現時点では対象外。 | グローバル | コミュニティ | コミュニティ(投稿件数) | 検索意図 | — | — | 対象外 | robots ✕規約 ✕Bot — |
| XAPI 費用と規約上の制約により対象外。 | グローバル | コミュニティ | SNS | 検索意図 | — | — | 対象外 | robots —規約 ✕Bot — |
| 智联招聘/BOSS直聘実査:robots.txt がクエリ付き URL(検索・絞り込み)を拒否。カテゴリ別の件数は取得できない。対象外。 | 中国 | 求人 | 求人(雇用需要) | 雇用需要 | — | — | 対象外 | robots ✕規約 —Bot — |
| 百度指数要ログインのため、非ログイン原則の下では自動取得の対象外。手動参照のみ。 | 中国 | 検索 | 検索トレンド | 検索需要 | — | — | 対象外 | robots —規約 ✕Bot — |
91 件を表示。確認欄は robots.txt / 利用規約 / Bot対策 の順。○ 確認済み・問題なし、… 確認中、✕ 不可、— 該当なし(プロバイダ経由・公開データ等)。
Signals
一つの仕事を、種類の違う情報源で測る。
サイトを集めること自体が目的ではありません。「翻訳」という一つの市場に、サービス市場・専門市場・求人・検索・コミュニティといった独立した信号を刺し、それらが一致するかどうかで信頼度を決めます。総合マーケットだけを見ると分類は粗くなり、専門市場だけを見ると規模を見誤ります。
| 信号の種類 | 何を測るか | 例 |
|---|---|---|
| サービス市場 | 出品・案件・入札の量と価格。外注需要の本体 | ココナラ、Fiverr、Upwork、Kmong |
| 専門市場 | 単一領域の需給。総合市場より分類が細かい | Voice123(音声)、ProZ(翻訳)、99designs(デザイン) |
| 求人 | 雇用需要。外注需要と分けて持つ | Indeed Hiring Lab、Saramin API、フリーランススタート |
| マイクロタスク | AI が生む作業・AI に置き換わる作業 | Toloka(要確認)。MTurk・Prolific はログイン必須で対象外 |
| 検索 | 検索関心度・検索数 | Google Trends API、Naver |
| コミュニティ | 質問・投稿の件数。技術需要の先行代理 | Stack Exchange API、Yahoo!知恵袋 |
| 学習・ノウハウ | 供給の先行指標(学んでいる人の数) | Udemy、ストアカ、Brain/Tips |
| 公的統計・公表値 | 較正と対照 | 職業別有効求人倍率、上場3社 IR、BLS、Eurostat |
| 公共調達 | 政府・公共機関の発注需要。外注需要と分けて持つ | 調達ポータル、官公需情報ポータル(API)、TED、USAspending |
| 企業直結の求人 | 求人媒体を経由しない一次情報(ATS・政府系 API) | Greenhouse/Lever、Work24、France Travail |
| 技術採用・話題性 | 開発系カテゴリの需要の先行代理 | GitHub、npm/PyPI、Hugging Face、Product Hunt |
| 地域の供給密度 | オフラインの事業者数。オンライン市場との対照 | OpenStreetMap |
| 分類辞書 | 指標ではなく、市場定義の対応表の基盤 | ESCO、O*NET |
信頼度への効き方
Confidence の因子 M(ソース多重性)は、独立したソースの数と相互の一致度です。信号の種類が異なるほど独立とみなします。
Fiverr Voice Over ↑ Upwork Voice jobs ↑ Voice123 projects ↑
→ Voice Demand ↑ / Confidence 94
Fiverr Voice Over ↑ のみ
→ Voice Demand ↑ / Confidence 58
求人を別レイヤーで持つと、構造の変化も見えます。外注需要 +150% に対して雇用需要 −5% なら「正社員雇用ではなく外注化されている」という読みが、事実の並置として出せます。
実査の方針
候補一覧をそのまま実装リストにはしません。識別 UA で robots.txt と一覧ページを取得し、応答(403・challenge・ログイン要求)を確認欄に記録します。回避しないと取れないサイトは、価値が高くても自前取得の対象から外します。
状態の意味
取得方針(追加の基準)
- 回避せずに取れるか。Bot対策の回避を要するサイトは自前取得の対象から外れる。この判断を都度の裁量に委ねない
- 非ログインの公開ページであるか。クローラに認証情報を持たせない
- 公開データ・公表値を先に取り込む。クロールを伴わないソース(オープンデータ、公的統計、IR)は取得リスクがなく、過去分を遡れる
- 対照群を持つ。動く群だけを観測すると、市場の動きと計測ノイズを区別できない
- 地域はライセンシーが確定してから。正規化は地域依存で、地域追加の限界費用はゼロに近くない
役割の分類:供給/需要/雇用需要/検索需要/検索意図/需要の先行指標/供給の先行指標/単価アンカー/較正・対照/ハイプ指数。需要代理指標の設計 →
数字の作り方を確認したら、実際のデータを。
「自社の提案に使えるか」「どのカテゴリを観測できるか」も相談できます。いま申し込めるのは 90日市場検証プランです。