Moradia Funcional de Zelador

Temos um zelador que trabalha conosco há cerca de 30 anos e desde sempre mora no próprio condomínio. A grande questão é que o mesmo adquiriu uma casa e não dorme mais no condomínio. Mesmo nessa condição ele se recusa a devolver as chaves. Sua justificativa é que o local "é dele" e ainda usa, entre os turnos, para "tirar um cochilo e esquentar o almoço". Se aposentou, e diz que só entrega as chaves se for demitido. Me sinto de mãos amarradas nessa situação desconfortável. Mesmo sendo o condomínio o empregador, até este momento, acabo ficando nas mãos do funcionário. Algum dos membros do sindiconet já passaram por situação similar ou podem me sugerir alguma direção para tomar? Agradeço,