Il nucleo più antico del palazzo Doria Pamphilj al Corso risale a Giovanni Fazio Santorio (o Santoro), cardinale di Santa Sabina, che tra il 1505 e il 1507 si fece costruire una dimora di tutto rispetto tra la via Lata e il Collegio Romano. Essa si sviluppava intorno al cortile quadrangolare di impianto bramantesco, che ancora oggi si apre sull'ingresso di via del Corso.

Nel 1508 il cardinale fu costretto da papa Giulio II Della Rovere (1503-1513) a donare il palazzo al nipote, Francesco Maria I Della Rovere, duca di Urbino dal 1508. Nominato prefetto di Roma e capitano generale della Chiesa, il duca prese residenza in Roma insieme alla moglie, Eleonora Gonzaga. Come erede di Francesco Maria, il figlio Guidobaldo II, ne ereditò le cariche pubbliche, tramandandole al figlio Francesco Maria II, marito di Lucrezia d'Este. Quest'ultimo lascerà il palazzo allo zio cardinale, Giulio Della Rovere.

Pietro Aldobrandini (1571-1621), cardinal nipote dal 1593 fino alla morte dello zio Clemente VIII (1592-1605), acquistò il complesso il 6 ottobre 1601. Lo stabile fu valutato dal suo architetto di fiducia, Giacomo della Porta, 40.000 scudi ma fu pagato 5.000 in meno, in virtù del suo status politico. Dal 1601 al 1647 gli Aldobrandini vi lavorano ininterrottamente. Fino alla morte del cardinal Pietro (1621), architetto di palazzo fu Giovanni Antonio de Pomis, a cui subentrò Giovanni Pietro Moraldi, che completò i lavori tra il 1646 e il 1648.

Alla morte del cardinale Ippolito Aldobrandini rimase unica erede del patrimonio Olimpia junior (1638) che nel 1647 sposò in seconde nozze Camillo Pamphilj, nipote del papa Innocenzo X.

I lavori intrapresi dagli Aldobrandini proseguirono a opera dei Pamphilj, interessando anche il lato posteriore del palazzo (1653). Nel 1659 Camillo chiamò l'architetto Antonio del Grande a dirigere la fabbrica sul Collegio Romano, che diede vita all'appartamento pamphiliano. Per l'occasione fu sacrificata parte del palazzo Salviati, acquistato da Camillo per fare spazio all'appartamento nuovo, che nel 1660 sarà completato con la caratteristica facciata a L sulla piazza del Collegio Romano.

L'Appartamento di Rappresentanza (aperto al pubblico dal 1996) si componeva di saloni accompagnati da anticamere e fiancheggiati da salottini.

Alla morte di Camillo (1666), la moglie Olimpia e i figli Benedetto e Giovan Battista proseguirono i lavori, mantenendo come architetto Antonio del Grande, pagato fino al 1671. Benedetto con la madre occupò la zona Pamphilj, mentre Giovan Battista con la moglie Violante Facchinetti, in qualità di primogenito ed erede della secondogenitura Aldobrandini, l'appartamento omonimo.

Ad Antonio del Grande subentrò prima Giovanni Pietro Moraldi (attivo tra il 1673 e il 1677) e poi Mattia De Rossi nel (1678). Il nuovo architetto di palazzo, attivo fino al 1714, fu Carlo Fontana, a cui si dovette la demolizione della cappella Aldobrandini, al posto della quale fu costruita l'anticamera del piano nobile.

Dalla morte di Innocenzo X, i Pamphilj preferirono risiedere nel palazzo al Corso anziché nella dimora di piazza Navona, come ricorda il breve concesso a Camillo Pamphilj da Alessandro VII Chigi (16 novembre 1657): "facoltà di poter abitare, sua vita natural durante, unitamente alla sua Consorte e Famiglia, fuori del Pal. di Piazza Navona, senza incorrere in veruna caducità". Il 10 settembre 1666 un altro breve di Alessandro VII rinnovò la concessione a Giovan Battista Pamphilj, primogenito di Camillo seniore.

Il figlio di Giovan Battista, Camillo Pamphilj giuniore, promosse altri lavori al palazzo tra il 1731 e il 1734, chiamando Gabriele Valvassori a rinnovare la facciata su via del Corso. In questa occasione fu chiusa la loggia superiore del cortile rinascimentale, trasformando il quadrilatero in un ambiente espositivo per la collezione di dipinti. Si tratta delle opere che Camillo seniore aveva commissionato o acquistato sul mercato antiquario e di quelle arrivate dal patrimonio Aldobrandini, in cui confluirono anche quelle di Lucrezia d'Este, ereditate da Pietro Aldobrandini e giunte a Roma nel 1598.
A Valvassori succede nel 1739 Palo Ameli, autore della zona su via del Plebiscito (1744) e dello scalone su via del Corso (1748-49).

Alla morte senza eredi di Girolamo Pamphilj nel 1760 (l'unico figlio Benedetto muore senza prole nel 1750), si apre la successione, per la quale concorrono i Borghese e i Doria. I primi in virtù del matrimonio di Olimpia Aldobrandini con Paolo Borghese in prime nozze, i secondi per il matrimonio, avvenuto nel 1671, tra Anna Pamphilj, nata dalle seconde nozze di Olimpia con Camillo seniore, e il patrizio genovese Giovanni Andrea III Doria. Vinta la causa, i Doria furono costretti a venire a Roma dallo Stato pontificio. Secondo la legislazione dell'epoca, infatti, un proprietario di beni immobili così estesi nello stato della Chiesa, non poteva risiedere fuori dal territorio. Il primo a prendere residenza a Roma sarà Giovanni Andrea IV, ma solo al figlio Andrea IV sarà concesso, nel 1765, di unire al proprio il nome dei Pamphilj.

E' durante il suo principato che il palazzo viene sottoposto a un'operazione di ripristino, evidente soprattutto nella decorazione dei saloni dell'appartamento di rappresentanza e del quadrilatero o Galleria. L'occasione fu data dalle nozze del principe con Leopoldina di Savoia Carignano (1767), a cui lo sposo volle offrire una dimora rinnovata.
A dirigere i lavori fu chiamato l'architetto trapanese Francesco Nicoletti che tra il 1767 e il 1769 diresse la fabbrica, coordinando, tra l'altro, un'équipe di pittori tardobarocchi incaricati di decorare i soffitti con dipinti dal chiaro intento celebrativo.

A testimonianza dell'impresa rimane un documento, il cui ante quem risale al 1768, redatto da Nicoletti stesso e conservato nell'archivio di famiglia. Si tratta di un progetto che riproduce in alzato i saloni della galleria e dell'appartamento di rappresentanza, con allegato l'elenco dei quadri da esporre. Su questa traccia storica è stata riallestita l'intera galleria, dopo un ciclo di lavori per la messa a norma dei locali.

Da ciò deriva l'unicità dell'allestimento museale nella Galleria Doria Pamphilj dove, come raramente accade, una collezione seicentesca è esposta al pubblico con criteri desueti ma fedeli al gusto tardobarocco.

E' Filippo Andrea V (1813-1876) che, con l'aiuto del suo architetto di fiducia, Andrea Busiri Vici, volle dare alla collezione e al palazzo una ventata di novità, adeguandosi negli acquisti e nell'allestimento a criteri nuovi. A lui si deve la scelta di sostituire alcuni dipinti della collezione con i cosiddetti "primitivi" o l'acquisizione di opere come la Deposizione di Memling.