Definición de Spyder
(Robot-Web, araña, bot, web crawler). Programa que recorre la WWW y recoge página web, visitando los enlaces que tiene de forma automática. Suelen utilizarlo los grandes buscadores para dar de alta (indexar) las páginas y luego poder buscar en ellas.
Es un tipo de agentes de software; cada spider provee su propio user-agent.
Algunos nombres (user-agent) de spiders populares son:
• Scooter (de Altavista), Slurp (de AOL), ArchitextSpider (de Excite), Googlebot (de Google), Lycos (de Lycos), Yahoo Slurp (de Yahoo), MSNBot (de MSN).
Existen spider con propósitos ilegales como los spambots.
También hay programas para hacer spiders con un solo click, como el OpenKapow, que te permite hacer spiders de forma gráfica.
¿Cómo trabajan los robots de los motores de búsqueda?
Piense en los robots como programas automatizados de recuperación de información, que viajan en la web para encontrar información y enlaces. Cuando usted presenta una pagina web a un motor de búsqueda en la pagina de “Submit a URL”, el nuevo URL es adicionado en la cola de espera del robot de los sitios web que serán visitados en la próxima incursión. Aún si usted no presenta directamente una pagina, muchos robots encontraran su sitio debido a los enlaces en otros webs que apuntan a su sitio. Esta es una de las razones por las cuales es importante incrementar los enlaces de popularidad.
Cuando llegan a su sitio web, los robots automatizados primero chequean si usted tiene un archivo robots.txt. Este archivo es usado para decirle al robot cuales áreas de su sitio web están fuera del limite de ellos.
Los robots coleccionan enlaces de cada una de las páginas que ellos visitan y luego siguen estos enlaces hacia otras paginas. De esta forma, ellos esencialmente siguen los enlaces desde una pagina hacia otra. Toda la World Wide Web esta conformada de enlaces, la idea original era que usted pudiera seguir enlaces de un lugar a otro. De esta forma es como los robots se desplazan.
Los “dolores de cabeza” acerca de la indexación de paginas online vienen de los diseñadores de los motores de búsqueda quienes inventan métodos diferentes para evaluar la información que los robots recuperan.
Cuando se es agregado a la base de datos del motor de búsqueda, la información esta disponible para consultas del buscador. Cuando un usuario de un motor de búsqueda entre una consulta, se hacen un numero de cálculos rápidos para asegurar que el motor presente solo el conjunto válido de resultados y así darle al visitante la respuesta más relevante a su consulta.
Usted puede ver cuales paginas de su sitio web han sido visitadas por los robots de los buscadores mirando los logs del servidor o los resultados de su programa de estadísticas de log. Una vez identificados los robots, le mostrará cuando visitaron su sitio, cuales paginas visitaron y que tan a menudo lo visitan. Algunos robots son identificados fácilmente por sus nombres de agente de usuario (user agent names) como el de Google “Googlebot”, otros son un poco más oscuros, como el de Inktomi “Slurp”.
Además de identificar cada robot y contar el número de sus visitas, las estadísticas también pueden mostrarle los robots agresivos y los que usted desea que no visiten su sitio web. En la sección de recursos al final de este boletín, encontrará sitios que listan nombres y direcciones IP de robors de motores de búsqueda que puede ayudarlo a identificarlos.
Piense en los robots como programas automatizados de recuperación de información, que viajan en la web para encontrar información y enlaces. Cuando usted presenta una pagina web a un motor de búsqueda en la pagina de “Submit a URL”, el nuevo URL es adicionado en la cola de espera del robot de los sitios web que serán visitados en la próxima incursión. Aún si usted no presenta directamente una pagina, muchos robots encontraran su sitio debido a los enlaces en otros webs que apuntan a su sitio. Esta es una de las razones por las cuales es importante incrementar los enlaces de popularidad.
Cuando llegan a su sitio web, los robots automatizados primero chequean si usted tiene un archivo robots.txt. Este archivo es usado para decirle al robot cuales áreas de su sitio web están fuera del limite de ellos.
Los robots coleccionan enlaces de cada una de las páginas que ellos visitan y luego siguen estos enlaces hacia otras paginas. De esta forma, ellos esencialmente siguen los enlaces desde una pagina hacia otra. Toda la World Wide Web esta conformada de enlaces, la idea original era que usted pudiera seguir enlaces de un lugar a otro. De esta forma es como los robots se desplazan.
Los “dolores de cabeza” acerca de la indexación de paginas online vienen de los diseñadores de los motores de búsqueda quienes inventan métodos diferentes para evaluar la información que los robots recuperan.
Cuando se es agregado a la base de datos del motor de búsqueda, la información esta disponible para consultas del buscador. Cuando un usuario de un motor de búsqueda entre una consulta, se hacen un numero de cálculos rápidos para asegurar que el motor presente solo el conjunto válido de resultados y así darle al visitante la respuesta más relevante a su consulta.
Usted puede ver cuales paginas de su sitio web han sido visitadas por los robots de los buscadores mirando los logs del servidor o los resultados de su programa de estadísticas de log. Una vez identificados los robots, le mostrará cuando visitaron su sitio, cuales paginas visitaron y que tan a menudo lo visitan. Algunos robots son identificados fácilmente por sus nombres de agente de usuario (user agent names) como el de Google “Googlebot”, otros son un poco más oscuros, como el de Inktomi “Slurp”.
Además de identificar cada robot y contar el número de sus visitas, las estadísticas también pueden mostrarle los robots agresivos y los que usted desea que no visiten su sitio web. En la sección de recursos al final de este boletín, encontrará sitios que listan nombres y direcciones IP de robors de motores de búsqueda que puede ayudarlo a identificarlos.
Entradas
No hay comentarios:
Publicar un comentario