Remoção de multa e perseguição em condomínio

Estou em obras em um terreno em loteamento fechado com associação constituída. Minha obra está completando 3 anos, infelizmente está mais lenta que esperava. Isso parece irritar meus vizinhos que por coincidência são presidente e membros do conselho. Durante estes anos já recebi várias reclamações infundadas (como ter pedaços de ferro dentro da minha casa, que poderiam ser um risco para crianças que ENTRASSEM NA MINHA CASA, isso pq o regimento diz que crianças menores de 12 anos devem estar sempre acompanhas com os pais). Mas sempre fiz o possível para tentar acatar e ter uma boa convivência (no caso citado eu fechei ainda mais minha casa). No ano passado recebi uma advertência por "permitir que prestadores de serviço trabalhassem no sábado", quando no caso era meu cunhado que veio conhecer minha casa com o carro da empresa dele. Hoje recebi uma "Multa Infração Regimental", só isso, sem notificação, nem motivo. Entrei em contato com o presidente que disse para resolver com a administradora, a administradora disse que seguia orientação do Zelador e me encaminhou por e-mail uma suposta notificação (que era na verdade um aviso de multa disfarçado de carta de advertência, já que este era o título) que eu nunca recebi. Na notificação é dito: "Venho por meio desta informar ao proprietário (...)pedimos que providencie a limpeza." citando os seguintes artigos referente ao "gozo de suas unidades autônomas (...) obedecidas suas exigências e as destas regras de convivência, quanto ao aspecto silêncio, segurança e ordem da Associação" e também sobre a remoção periódica de entulho. Minha casa não possui nenhum entulho na frente, apenas um monte de areia e um de terra que continuo usando (usei a terra para nivelar o quintal à menos de um mês e a areia também para fazer requadros de janela e rebocar). Novamente o presidente não quis conversar, a disse que pessoas como eu estão lá para subtrair e não somar, e se eu quisesse alguma coisa que fosse procurar meus direitos. Me informaram para ir no Juizado Especial Cível, como proceder para a remoção da multa (tenho fotos do terreno mostrando o estado atual). Existe algo para me prevenir desta perseguição? Se o problema continuar é possível deixar a associação de moradores?