Puedes emplear ContactsUtils que es una clase basada en la biblioteca ContentResolver.
ContactsUtils te permite leer todo tipo de información del dispositivo, almacenar contactos, modificar la información, añadir nuevos contactos y eliminar los contactos existentes.