Shaare your links...
32910 links
Liens en vrac de sebsauvage Home Login RSS Feed ATOM Feed Tag cloud Picture wall Daily
Links per page: 20 50 100
page 1 / 1
  • Robots.txt meant for search engines don’t work well for web archives | Internet Archive Blogs
    Archive.org ne va plus tenir compte des robots.txt pour archiver les sites. C'est très bien. Trop de sites se servent des robots.txt pour faire disparaître des pages d'archive.org par simple convenance.
    2017-04-23 09:51:27
    https://blog.archive.org/2017/04/17/robots-txt-meant-for-search-engines-dont-work-well-for-web-archives/
Links per page: 20 50 100
page 1 / 1
Shaarli 0.0.41 beta modifiée - 2022-08-11 - The personal, minimalist, super-fast, no-database delicious clone. By sebsauvage.net. Theme by idleman.fr. I'm on Mastodon.
shelter.moe