| Property |
Value |
| dbo:abstract
|
- Robots Exclusion Standard(RES) または Robots Exclusion Protocol は、クローラやボットがウェブサイト全体またはその一部を走査することを防ぐ規約である。ロボット排除規約、robots.txt プロトコルとも呼ばれる。こういったボットは検索エンジンがウェブサイトの内容を分類しアーカイブするために主に使ったり、ウェブマスターがソースコードを校正するために使ったりする。直接の関係はないが、逆にボットを案内する目的のSitemapsと組み合わせて使うこともできる。 (ja)
- Robots Exclusion Standard(RES) または Robots Exclusion Protocol は、クローラやボットがウェブサイト全体またはその一部を走査することを防ぐ規約である。ロボット排除規約、robots.txt プロトコルとも呼ばれる。こういったボットは検索エンジンがウェブサイトの内容を分類しアーカイブするために主に使ったり、ウェブマスターがソースコードを校正するために使ったりする。直接の関係はないが、逆にボットを案内する目的のSitemapsと組み合わせて使うこともできる。 (ja)
|
| dbo:wikiPageExternalLink
| |
| dbo:wikiPageID
| |
| dbo:wikiPageLength
|
- 7122 (xsd:nonNegativeInteger)
|
| dbo:wikiPageRevisionID
| |
| dbo:wikiPageWikiLink
| |
| prop-en:code
|
- # Comments appear after the "#" symbol at the start of a line, or after a directive
User-agent: * # match all bots
Disallow: / # keep them out (ja)
- Allow: /folder1/myfile.html
Disallow: /folder1/ (ja)
- User-agent: *
Crawl-delay: 10 (ja)
- User-agent: *
Disallow: (ja)
- User-agent: *
Disallow: / (ja)
- User-agent: *
Disallow: /directory/file.html (ja)
- User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /tmp/
Disallow: /private/ (ja)
- User-agent: BadBot # replace the 'BadBot' with the actual user-agent of the bot
Disallow: /private/ (ja)
- # Comments appear after the "#" symbol at the start of a line, or after a directive
User-agent: * # match all bots
Disallow: / # keep them out (ja)
- Allow: /folder1/myfile.html
Disallow: /folder1/ (ja)
- User-agent: *
Crawl-delay: 10 (ja)
- User-agent: *
Disallow: (ja)
- User-agent: *
Disallow: / (ja)
- User-agent: *
Disallow: /directory/file.html (ja)
- User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /tmp/
Disallow: /private/ (ja)
- User-agent: BadBot # replace the 'BadBot' with the actual user-agent of the bot
Disallow: /private/ (ja)
|
| prop-en:lang
| |
| prop-en:wikiPageUsesTemplate
| |
| dct:subject
| |
| rdfs:comment
|
- Robots Exclusion Standard(RES) または Robots Exclusion Protocol は、クローラやボットがウェブサイト全体またはその一部を走査することを防ぐ規約である。ロボット排除規約、robots.txt プロトコルとも呼ばれる。こういったボットは検索エンジンがウェブサイトの内容を分類しアーカイブするために主に使ったり、ウェブマスターがソースコードを校正するために使ったりする。直接の関係はないが、逆にボットを案内する目的のSitemapsと組み合わせて使うこともできる。 (ja)
- Robots Exclusion Standard(RES) または Robots Exclusion Protocol は、クローラやボットがウェブサイト全体またはその一部を走査することを防ぐ規約である。ロボット排除規約、robots.txt プロトコルとも呼ばれる。こういったボットは検索エンジンがウェブサイトの内容を分類しアーカイブするために主に使ったり、ウェブマスターがソースコードを校正するために使ったりする。直接の関係はないが、逆にボットを案内する目的のSitemapsと組み合わせて使うこともできる。 (ja)
|
| rdfs:label
|
- Robots Exclusion Standard (ja)
- Robots Exclusion Standard (ja)
|
| owl:sameAs
| |
| prov:wasDerivedFrom
| |
| foaf:isPrimaryTopicOf
| |
| is dbo:wikiPageRedirects
of | |
| is dbo:wikiPageWikiLink
of | |
| is owl:sameAs
of | |
| is foaf:primaryTopic
of | |
