Lo que comentas es muy habitual. La lluvia, la nieve y el hielo son el talón de aquiles de los sistemas v-brake con zapata o los antiguos cantilever.
Como bien dices, la suciedad hace un efecto lija entre la zapata y la llanta de forma que la primera se gasta muy rápidamente. Pero ojo, que la llanta también se gasta una barbaridad en esas condiciones pero al ser un material más duro no lo vemos tan claramente. Hace un par de años, durante la transandalus sufrí este problema y casi me cuesta el viaje. Cada vez que vadeaba un arroyo, la llanta se mojaba, y al salir se le pegaba toda la tierra del camino de forma que las primeras frenadas eran muy abrasivas con la llanta y las zapatas. Entre Jaén y Córdoba pillé tres días de lluvia. Después del tercer juego de zapatas y unos 1000km, en mitad del Valle de los Pedroches la llanta estaba tan gastada que se rajó longitudinalmente por la pista de frenado. No me quedé tirado de puro milagro y tras un desvio de 40km rezando en varios idiomas a todos los santos tuve la suerte de poder cambiar la rueda. Hoy precisamente he cambiado la llanta delantera para llevarla nueva a la transpirenaica. Para comprobar el desgaste de la llanta basta con pasar el dedo por la pista de frenado. Si se nota una curvatura cóncava hay que ir pensando en cambiarla.
Personalmente le doy mucha más importancia al desgaste de la llanta que a las zapatas porque de estas últimas puedes llevar recambios en los viajes y ponerlas nuevas en 10 minutos pero a ver quien lleva una llanta de repuesto.
Si has probado varios marcas de zapatas habrás visto que todas no son iguales ni duran lo mismo. Para lluvia son muy famosas las "cool stop" Son caras, unos 10€ la pareja, pero merecen mucho la pena en condiciones adversas. Eso si, en cuanto mejora el tiempo mejor cambiarlas por otras más normalitas para no gastar las buenas cuando no hace falta.
Saludos.
