[Bergs]

Olá Thelon

estou tendo problema com a idexacão de meu site menuguitarra.orgfree.com .
enviei o sitemap.xml para o servidor e depois
também pelo google, só que foi detectado um bloqueio no robots.txt
ele estava com Disallow: / , atualizei o robots para.

User-agent: Googlebot
allow: /
User-agent: Slurp
allow: /
User-agent: MSNBot
allow: /
User-agent: *
allow: /

Reenviei o sitemap mas agora ele fica sempre dando erro com status X o que eu posso
fazer para contornar esse problema.

Dá uma força aí cara

[Bruno Scarcella]

Coloque os todos os user agents, nao precisar usar o allow.

Da uma olhada no robots deste site: www.ambienty.com.br/


Nao use o allow, só indique o que você nao quer que seja indexado, e os user agents e o sitemap!

Abraços

[Thelon]

É como o Bruno Scarcella disse
Só coloque no robots o que quer bloquer e não o que não quer

E no lugar de escrever um por um dando margens para erros use o * que indica todos

Percebi que você deixou os arquivos css na pasta raiz
Eu recomendo a prática de centralizar CSS, JS e outros códigos em uma pasta chamada script já que você tem uma
E esses código não tem necessidade de deixar para os buscadores verificar.

Então deixa assim:

User-agent: *
Disallow: /scripts

Veja outras pastas que não sejam interessantes para os usuário e vá bloquando.


Tudo que estiver fora do robots será verificado pelos mecanismos de busca

[Bergs]

Bom Dia Pessoal!!

Eu deixei ele assim porque do jeito que estava antes o google tava
bloqueando, onte de noite ele funcionou.

vou dá uma organizada e colocar só o que é para ser bloqueado.

Valeu pelas dicas!

[Thelon]

Se precisar de um auxilio para refazer: http://www.marketing....br/robots-txt/

[Bergs]

Bom Dia Thelon!

Eu já tinha visto esse site foi justamente com ele que fiz o meu primeiro robots.txt
que deu erro, como eu era leigo no assunto devo ter feito algo errado, mas agora já
entendi a real função do robots.

O Thelon, quanto tempo em média demora para o google indexar minhas páginas?

[Thelon]

Cara a questão de tempo é relativa

Geralmente é umas 2 semanas
Se demorar mais que isso tenta pedir indexação pela webmasters tool

Mas pode levar até meses
Fica de olho se em 1 mês não indexar posta ae que agente tenta analisar o problema.