Shaare your links...
30937 links
Liens en vrac de sebsauvage
Home
Login
RSS Feed
ATOM Feed
Tag cloud
Picture wall
Daily
Links per page:
20
50
100
page 1 / 1
Robots.txt meant for search engines don’t work well for web archives | Internet Archive Blogs
Archive.org ne va plus tenir compte des robots.txt pour archiver les sites. C'est très bien. Trop de sites se servent des robots.txt pour faire disparaître des pages d'archive.org par simple convenance.
2017-04-23 09:51:27
https://blog.archive.org/2017/04/17/robots-txt-meant-for-search-engines-dont-work-well-for-web-archives/
Links per page:
20
50
100
page 1 / 1