Alla morte del principe, i suoi successori, desiderosi di liberarsi di un'eredità cosi scomoda ed impopolare, restituirono all'uso pubblico l'area occupata dalla gigantesca e irriverente reggia. La Domus Aurea, causa l'impopolarità del suo proprietario ed il conseguente desiderio di vendetta da parte di tutti coloro che ne avevano subito le ire ed i soprusi, ebbe vita brevissima: quando Nerone pose fine ai suoi giorni nel 68 d.C. gettandosi sulla spada portagli dal liberto Epafrodito, l'edificio, dopo un rapido utilizzo da parte dei suoi successori, Otone e Vitellio, fu completamente abbattuta dagli imperatori seguenti, quando - con ogni probabilità, data la vastità dell'edificio nel suo complesso - non era stata nemmeno ultimata in ogni sua parte. Il palazzo dei Flavi sul Palatino, inaugurato nel 92 d.C. dall'imperatore Domiziano, rase al suolo le precedenti costruzioni neroniane, salvandone le fondamenta. La Domus Tiberiana divenne un impianto termale con un'aula centrale e due portici laterali. I basamenti per le terrazze vennero utilizzati per la costruzione dell'Anfiteatro Flavio. Al tempo di Vespasiano il vestibulum venne aperto al passaggio pubblico ed il Colosso, ridedicato al Sole, era stato spostato sulla Via Sacra.
Quando venne inaugurato l'Anfiteatro Flavio, il Colosso (da cui il nome di Colosseo) venne di nuovo spostato con l'ausilio di ben ventiquattro elefanti e collocato in prossimità dell'Anfiteatro. L'imperatore Commodo ne modificò la testa facendole assumere le sue sembianze ed aggiunse una clava (Commodo aveva una predilezione per Ercole ed amava farvisi identificare) come sostegno del braccio sinistro della gigantesca statua. Probabilmente il Colosso andò distrutto al tempo delle prime invasioni barbariche. Il padiglione del colle Oppio, la parte più celebre della Domus Aurea, sopravvisse invece fino al 104 d.C., quando - distrutto parzialmente da un incendio - venne allora integrato nella costruzione delle Terme di Traiano, edificate dal grande architetto Apollodoro di Damasco. Sulle rovine delle Terme di Traiano, cadute in abbandono dopo il taglio degli acquedotti da parte di Vitige, re degli Ostrogoti, nel 539 d.C., sorsero nel medioevo orti e vigne, a caratterizzare il nuovo paesaggio del colle che aveva ospitato la Reggia d'oro di Nerone.
Divenuto ormai un complesso sotterraneo e riempito quasi totalmente di terra, il padiglione del colle Oppio si è preservato fino al Quattrocento, quando i primi visitatori ne riscoprirono l'esistenza e furono tanto colpiti dalla bellezza (e dall'incontestabile misterioso fascino, potremmo aggiungere) degli affreschi rimasti miracolosamente intatti al suo interno che riprodussero poi le forme ed i disegni osservati alla luce delle torce in repliche che conservano nel nome la provenienza da quel mondo che si credeva perduto per sempre, le celeberrime "grottesche".