URLからナレッジを登録する

URLクロールは、インターネットからログインなしで表示できるページを取り込みます。登録前に、次の点を確認してください。

• 対象ページがブラウザで公開されている。
• robots.txt などで取得が禁止されていない。
• 画像だけではなく、回答に使いたい本文がページ内にある。

会員専用ページや社内ネットワーク内のページは、URLクロールでは取り込めません。その場合は、公開できる資料をファイルとして登録してください。

1. ナレッジを開き、URLソースを追加を選びます。
2. 起点URLに、取り込みを始めるページの完全なURLを入力します。
3. ナレッジ名を確認します。起点URLを入力するとページタイトルが候補として入ることがありますが、分かりやすい名前へ変更できます。
4. 対象URL正規表現で取り込み範囲を確認します。
5. クロールを開始を選びます。

対象URL正規表現は、取り込みたいURLのパターンを指定する項目です。初期入力される値を使うと、通常は起点URL以下を対象にできます。

高度設定では、クロール頻度、除外URL正規表現、最大ページ数を設定できます。ログイン、管理、カートなど回答に不要なページは、初期の除外条件に含まれています。

• 手動：定期的な自動クロールを行いません。
• 毎日・毎週：設定した間隔で内容を取り込み直します。
• 最大ページ数：広いサイトで、取り込み件数が想定以上に増えるのを防ぎます。

作成後にナレッジ詳細を開くと、取得ページにクロールしたURLが表示されます。URLまたは本文の一部を入力して、目的のページが含まれているか検索できます。件数が多い場合は50件ごとにページ分けされます。

取り込み履歴では、待機中、取り込み中、完了、一部失敗、失敗の状態を確認できます。一部失敗でも取得済みページがある場合は、失敗したページを確認して対象範囲や公開状態を見直します。

ページが取り込まれない

ページが公開されているか、ログインを求められないか、対象URLの条件に含まれているかを確認します。取得が禁止されているページは取り込めません。

不要なページが含まれる

不要な取得ページはナレッジ詳細から削除できます。URLクロールのページを削除するときは、同時にそのURLを除外URLへ追加してください。削除だけでは、定期クロール時に再度取り込まれることがあります。

登録後に内容が更新されない

クロール頻度を確認し、すぐに反映したい場合はナレッジ詳細から手動更新を実行します。処理が完了したあとに取得ページと取り込み履歴を確認してください。