Posta sotto tutela architettonica nel 2006, Vila Rifesser deriva dalla ristrutturazione di un'antica casa colonica realizzata nel 1890 per iniziativa di Josef Rifesser, scultore di altari e grossista di oggetti sacri, ispirandosi allo stile del tardo storicismo, con una veranda decorata da elementi in stile liberty. Per il bovindo sull'angolo rivolto a Sud-Ovest, il figlio Josef junior intagliò quattro busti lignei ispirati a personaggi dell'insurrezione antinapoleonica tirolese del 1809.

L'antica casa colonica Stufan - oggi Villa Margherita - è uno degli insediamenti documentati più antichi di Ortisei. Josef Rifesser, scultore di altari lignei e grossista di arte sacra, negli anni compresi fra il 1872 e il 1882 trasformò l'edificio rurale in un istituto artistico per arte sacra, allestendo appositi laboratori di scultura e falegnameria.