O síndico pode proibir meu prestador de estar no meu apartamento depois do horário?

Olá, eu gostaria de saber se o síndico pode proibir ou multar um prestador por ficar além do horário. Por exemplo o horário de obra e das 8h às 17h. O meu prestador trabalha até as 17h. Mas é também o horário que eu chego pra fiscalizar o que fez é para conversamos sobre o dia de trabalho, nisso passa das 17h a conversa e a portaria fica interfonando mandando ele ir embora. Eu não posso mantê-lo no meu apto como minha visita? Mesmo quando explico que não estão mais trabalhando que podem ir constatar o barulho, que estamos apenas conversando eles pedem pra ele ir embora. Como proceder?