puedo vivir en casa con usufructo vitalicio a nombre de mi madre?

la situacion esta asi:

vivo con mi madre en su propiedad, pero existe otra propiedad que esta a mi nombre con usufructo vitalicio a nombre de ella en la que nadie vive, por incompatibilidad de personalidades he tomado la decision de vivir solo y quisiera ir a vivir a la casa que esta a mi nombre, no busco venderla solamente vivir ahi, les recuerdo que ahi no vive nadie, yo ya le he planteado la situacion a mi madre pero obviamente ella se ha negado a darme acceso a la casa, por supuesto estoy viendo opciones de rentar o adquirir una propiedad por prestamo hipotecario pero honestamente no me alcanza para una casa de buen tamaño. mi pregunta es ¿ puedo pasarme a vivir a la propiedad "a la fuerza"?