Arg... oui je comprend tout à fait le problème.
En plus des amis (ah vraiment merci), certains sites ou applications web demandent à accéder à vos contacts pour pouvoir poster un commentaire. Sans compter les applications pour smartphones qui piochent allègrement dans vos contacts.

Quelques exemples:
●  L'application Twitter siphonne vos contacts: http://sebsauvage.net/links/?3TTjIw
●  LinkedIn pioche les listes de contacts pour les spammer: http://sebsauvage.net/links/?3o54gQ
●  80% des développeurs d'applications pour mobile repiquent le carnet d'adresse: http://sebsauvage.net/links/?ZMK5xg
●  Pour pouvoir poster un commentaire, certains sites demandent à accéder à votre carnet d'adresse complet: http://sebsauvage.net/rhaa/?2012/02/21/12/19/21-le-lol-du-jour-le-titre-du-huffpo

Moralité: De toute manière, vous serez spammé.   Et installez le *moins* d'applications possible sur votre smartphone. Même les applications les plus connues (Twitter, Facebook) vous piquent vos données.