R

Robots.txt

Archivo de texto que indica los sitios por los cuales los robots de buscadores (crawlers) puedan tener en cuenta. También puedes indicar que crawlers no accedan a tu sitio.