Configurare Robots.txt

[gaby]

Motoarele de cautare inspecteaza radacina domeniului cautand fisierul robots.txt (www.site.ro/robots.txt).

• User-agent este numele robotului.
  Exemplu:
  User-agent: googlebot
  
  
• Pentru specificarea tuturor robotiilor folositi caracterul *.
  Exemplu:
  User-agent: *
  
  
• Disallow exclude de la cautare anumite fisiere sau directoare. Daca vrem sa excludem la cautare fisierul text.html introducem in robots.txt urmatoarea linie:
  
  Disallow: test.html
  
  Pentru excluderea unui director la cautare, de exemplu directorul probe aflat in radacina domeniului, introducem in robots.txt urmatoarea linie:
  
  Disallow: /probe/
  

Cateva exemple aveti mai jos:

Exemplul 1: permitem accesul oricarui robot si nici un fisier nu va fi exclus la cautare:

User-agent: *

Disallow: [/code]




[u][b]Exemplul 2: acces interzis tuturor robotilor:[/b][/u]



[code]User-agent: *

Disallow: / 

Exemplul 3: acces interzis unui anume robot:

User-agent: googlebot

Disallow: / [/code]




[u][b]Exemplul 4: pentru un anume robot este exclus de la cautare fisierul test.html :[/b][/u]



[code]User-agent: googlebot

Disallow: test.html