Moritz IV. Welzer von Eberstein wurde im Jahr 1500 als Sohn von Christoph IV. und dessen Gattin Agnes Hohenwarter geboren.
Mit 24 Jahren heiratete er am 26. Februar 1524 in Schwaz in Tirol die 18-jährige Maria Tänzl, Tochter der reichen Silbergewerken-Familie Tänzl von Tratzberg.
1530 war Moritz IV. Welzer von Eberstei bereits Rat und Landesverweser in Kärnten. 1531 erscheint er in den Urkunden als Ritter, 1536 als Hauptmann über die Rüstung in Kärnten.
Von seiner Mutter Agnes Hohenwarter erbte er 1539 deren gesamten Besitz in Kärnten und nannte sich ab 1541 „von Fauenstein“. Er machte dieses nördlich von St. Veit gelegene Schloss zu seinem Wohnsitz und nahm einige Ausbauten vor. 1546 ließ er das Schloss Hallegg bei Klagenfurt umbauen und erweitern.
Anna Maria Welzer von Eberstein, die Tochter von Moritz IV., verlobte sich am 1. März 1545 auf Schloss Frauenstein mit dem Kärntner Landeshauptmann Christoph Khevenhüller.
Für den kaiserlichen Diplomaten und Kämmerer von Ferdinand I., der seit 1546 auch das Amt des innerösterreichischen Hofkammerpräsidenten bekleidetet, war es die zweite Eheschließung.
Die Hochzeit fand am 1. Juni 1545 in St. Veit an der Glan statt. Der Ehe entstammten zwei Töchter und ein Sohn.
Nach dem Tod von Christoph Khevenhüller am 4. April 1557 vermählte sich Anna Maria 1558 mit Jakob von Windischgrätz, Erbstallmeister in der Steiermark.
Die Söhne von Moritz IV. schlugen ebenfalls die politische Laufbahn ihres Vaters ein. Christoph IX. war 1566 Landesverweser in Kärnten, starb aber noch im selben Jahr. Sein Bruder Viktor I. hatte am 17. November 1560 in Klagenfurt Elisabeth, die Tochter des Bernhard Khevenhüller, geheiratet. Der Wohnsitz des Ehepaares war Hallegg. 1570 war Viktor I. Verwalter der Landeshauptmannschaft in Kärnten, 10 Jahre später wurde er von den Ständen zum Burggrafen in Klagenfurt gewählt. 1589 bekleidete er das Amt des Vizedomamtsverwalters.

Neuer Lebensmittelpunkt für Viktor I. sollte ein nach seiner Familie benanntes Schloss werden. In der Urkunde vom 19. Jänner 1578 erlaubte Erzherzog Karl II. dem Kärntner Landrat Viktor Welzer zu Eberstein, seinen neu erbauten, bisher namenlosen Edelmannsitz außerhalb Klagenfurt im Feld „Welzenegg“ zu nennen, versehen mit der Freiheit eines Edelmannsitzes und zusätzlich verbunden mit der Verleihung eines Burgfrieds.
Die Welzer waren bis zum 29. Mai 1629 Besitzer. An diesem Tag verkaufte Christoph XI., Welzer zu Eberstein, Herr auf Hallegg und Lemberg, dem edlen Alexius Frey und dessen Gatin Susanne um 32.000 Gulden Schloss und Herrschaft Welzenegg samt dem Burgfried.
Von 1670 bis 1983 war Schloss Welzenegg im Besitz der Familie Fürst Orsini-Rosenberg. Schon Valvasor rühmte die Lage an der Glan, gelegen in einem ebenen, flachen Feld.

Das Schloss ist rein großer dreigeschossiger Renaissancebau mit vier wuchtigen Ecktürmen. An der südlichen Gartenfront befindet sich ein barocker Zubau. Der Hof ist im Erdgeschoss von je drei Säulenarkaden umgeben, wobei das Obergeschoss die doppelte Arkadenzahl aufweist. In den Bogenzwickeln finden sich relativ gut erhaltene Graffiti.
Im Inneren ist eine Holzdecke aus dem Jahr 1671 bemerkenswert, ebenso hübsche Stukkaturen aus ungefähr derselben Zeit sowie stilvolle Türen und Öfen. Neben Hallegg und Welzenegg hatten die Welzer auch umfangreichen Hausbesitz in Klagenfurt.
Das Stadthaus (heute Palais Rosenberg) auf der Nordseite des Alten Platzes mit der Hausnummer 1 war jahrelang der Stadtwohnsitz der Welzer.
Am 5. Mai 1739 übernahm der Magistrat das Palais. In der Folge wurde das Palais bis 1918 als Rathaus verwendet.