Dass die Burg Eltz mit einer derart prachtvollen Architektur glänzen kann, liegt in der Geschichte der nach ihr benannten Besitzerfamilie begründet. Bereits im Jahr 1268 ereignete sich hier Wegweisendes: Damals ging das Bauwerk in den Besitz der Brüder Elias, Wilhelm und Theoderich über, die mit ihren Frauen und Kindern auf dem Gelände lebten. Ihr Vater hatte ihnen die Burg, die vermutlich zu Beginn des 12. Jahrhunderts erbaut und 1157 erstmals urkundlich erwähnt wurde, zu gleichen Teilen vererbt. Sie vollzogen eine Stammesteilung und gründeten die drei Familienzweige „Eltz vom goldenen Löwen“, „Eltz vom silbernen Löwen“ und „Eltz von den Büffelhörnern“. Diese erhielten außerdem die Namenszusätze Kempenich, Rübenach und Rodendorf, die sich von der Herkunft ihrer Frauen ableiteten. Das Bauwerk wurde so zu einer Ganerbenburg, in der die drei Familienstämme wie in einer WG zusammenlebten. Da das Areal nur wenig Wohnraum bot, war der Platz allerdings knapp. Um Spannungen zu vermeiden, starteten bald umfangreiche Baumaßnahmen, die mehrere Jahrhunderte andauern sollten. Für Elias vom goldenen Löwen wurde schon zu Lebzeiten des Vaters ein vierstöckiges Gebäude errichtet, das 1277 fertiggestellt werden konnte. Zwischen 1299 und 1312 ließ auch Theoderich von den Büffelhörnern einen vierstöckigen Wohnturm für seine Familie erbauen. Die Eltzer vom silbernen Löwen zogen 1312 mit dem Bau eines eigenen Hauses nach.