URLからナレッジを登録する

URLクロールは、インターネットからログインなしで表示できるページを取り込みます。登録前に、次の点を確認してください。

• 対象ページがブラウザで公開されている。
• robots.txt などで取得が禁止されていない。
• 画像だけではなく、回答に使いたい本文がページ内にある。

会員専用ページや社内ネットワーク内のページは、URLクロールでは取り込めません。その場合は、公開できる資料をファイルとして登録してください。

1. ナレッジを開き、URLソースを追加を選びます。
2. 起点URLに、取り込みを始めるWebページまたはサイトマップの完全なURLを入力します。
3. ナレッジ名を確認します。起点URLを入力するとページタイトルが候補として入ることがありますが、分かりやすい名前へ変更できます。
4. 対象URL正規表現で取り込み範囲を確認します。
5. クロールを開始を選びます。

起点URLにサイトマップのURLを入力すると、内容を確認して自動で判定します。URLに .xml が含まれていなくても、サイトマップの内容で判定されます。

サイトマップの場合は、掲載されているページだけを取り込みます。対象URL、除外URL、最大ページ数の設定も適用されます。

サイトマップを検出できない場合は取り込みを中止し、以前に取り込んだ内容を残します。サイト全体へ自動で範囲を広げることはありません。

対象URL正規表現は、取り込みたいURLのパターンを指定する項目です。初期入力される値を使うと、通常は起点URL以下を対象にできます。

詳細設定では、クロール頻度、除外URL正規表現、最大ページ数を設定できます。ログイン、管理、カートなど回答に不要なページは、初期の除外条件に含まれています。

• 手動のみ：定期的な自動クロールを行いません。
• 毎日・毎週：設定した間隔で内容を取り込み直します。
• 最大ページ数：広いサイトで、取り込み件数が想定以上に増えるのを防ぎます。

定期クロールを設定すると、詳細画面に最終クロールと次回クロールが表示されます。今すぐ反映したいときは、予定を待たずに手動で更新できます。

作成後にナレッジ詳細を開くと、取得ページにクロールしたURLが表示されます。URLまたは本文の一部を入力して、目的のページが含まれているか検索できます。件数が多い場合は50件ごとにページ分けされます。

取り込み履歴では、待機中、取り込み中、完了、一部失敗、失敗の状態に加え、確認、変更なし、取得、失敗の件数を確認できます。変更なしは、確認や再取得の結果、前回と同じ内容だった件数です。一部失敗でも取得済みページがある場合は、失敗したページを確認して対象範囲や公開状態を見直します。

再クロールで既存ページの内容が変わると、ナレッジが更新されましたという通知が届きます。通知には更新件数と、生成できた場合は変更内容の要約が表示されます。

2回目以降の取り込みでは、先に各ページの更新状況を確認します。内容に変更がないページは再取得を省略し、変更されたページや更新状況を確認できなかったページを取得します。

更新状況を確認できない場合は、古い内容が残るのを防ぐためにページを取得します。この場合は使用量が発生することがあります。

最後の取得から7日以上経過したページは、次回の自動同期または手動の再取り込みで内容を取得し直します。クロール頻度が手動のみの場合は自動では実行されません。

ページが取り込まれない

ページが公開されているか、ログインを求められないか、対象URLの条件に含まれているかを確認します。取得が禁止されているページは取り込めません。

不要なページが含まれる

不要な取得ページはナレッジ詳細から削除できます。URLクロールのページを削除するときは、同時にそのURLを除外URLへ追加してください。削除だけでは、定期クロール時に再度取り込まれることがあります。

登録後に内容が更新されない

クロール頻度が手動のみの場合は、ナレッジ詳細の再取り込みで更新できます。再取り込みは前回の取り込み開始から24時間後に実行でき、待機中は次に実行できる日時を確認できます。定期クロールを設定している場合は次回クロールを確認してください。定期クロールが失敗すると1時間後に自動で再試行し、最大3回まで続けます。処理が完了したあとに取得ページと取り込み履歴を確認してください。