¿Puede el casero prohibirme subir a cualquier persona a casa?

Hola,buenos dias. Resulta que cuando fui a buscar las llaves de mi piso a la inmobiliaria a día 1 de mes luego,después de comer me pase por el piso. Mi novio me acompañó ese día porque si no iba a ir sola. Pues después de la comida subimos y nos echamos una siesta antes de coger el bus de vuelta,cuando íbamos a salir de la habitación resulta que había gente en la casa,unas personas para arreglar la caldera. Esa misma noche mi compañera recibe una llamada de la casera diciendo que eso no puede ser,que no podemos llevar a nadie a casa que es denunciable y que era el primer aviso,que no se volviera a repetir,además recalco varias veces que no le había abierto la puerta cuando llamaron (yo no sé si llamaron o no,estaba dormida y no escuché el timbre) es decir,se metieron en casa sin previo aviso. Mi pregunta es,puede prohibirme subir a cualquier persona al piso que tengo alquilado? No se puede quedar nadie un día o simplemente subir a tomar algo,hacer un trabajo o cualquier cosa. Gracias de antemano.