gostaria de tecer dois comentários sobre o caso do robots.txt e veja se é pertinente a minha visão.
o robots.txt pode ser colocado no diretório raiz com comandos para desabilitar a pasta com subpastas, exemplo, uma linha igual a:
Disallow: /meusistema/_lib/
Eu não uso a sincronização das aplicações lendo o nome dos arquivos, faço de outra forma, mas por que o programador não testa se o arquivo tem extensão igual a txt e a ignora? ou se o nome do arquivo que está sendo sincronizado é igual a ‘robots.txt’ e o ignora?
pensei errado?