Aumento do aluguém depois de encerrrado o contrato, mas o inquilino continua no imóvel

Bom dia a todos, me surgiu a seguinte dúvida: Um locador alugou o seu imóvel residencial por 3 anos em contrato particular (de maio de 2016 a maio de 2019), ocorre que ainda que exista no contrato a cláusula de aumento anual do aluguel, tendo como referência o IGP-M anual, mas durante esses 3 anos, o locador nunca cobrou nada desse aumento aos locatários. Agora, que não mais existe o contrato formal, vez que esse se encerrou com o prazo, mas os locatários continuam no imóvel e o locador está cobrando os aumentos passados. Isso é possível legalmente? Podem os locatários deixar o imóvel sem ter de pagar pelo aumento desses 3 anos passados