La Paggeria Ducale rientra nel rinnovamento dell’assetto urbanistico ed edilizio voluto dal duca Guidobaldo II per Pesaro, città da lui preferita ad Urbino, sino ad allora sede esclusiva del ducato. Nel 1564 venne ingrandita la ‘Piazza Grande’ (attuale piazza del Popolo) e fu demolito l’antico Palazzo Comunale.
In seguito furono abbattute anche alcune case e botteghe che occupavano circa la metà del lato della nuova piazza di fronte al Palazzo Ducale, a cominciare dall’angolo di via di Porta Fanestra (attuale via San Francesco), che ostacolavano il progetto di sistemazione urbanistica. Appartenevano alla confraternita del ‘Venerabile Ospedale di San Salvatore’ che divenne così proprietaria della Paggeria, costruita al loro posto.
Sotto la direzione di Terzi fu costruita sino al 1570 solo la prima parte dell’edificio, ultimato dal nuovo architetto ducale Niccolò Sabbatini intorno al 1620 quando, per ordine del duca Francesco Maria II della Rovere, in occasione delle nozze del figlio Federico Ubaldo con Claudia de’ Medici, fu ampliato il Palazzo Ducale e fu definitivamente sistemato l’assetto della ‘Piazza Grande’ sotto la direzione del Sabbatini, che si limitò a prolungare il corpo della Paggeria seguendo i moduli del suo predecessore, in modo che figurasse un solo palazzo per tutta la lunghezza di quel lato della piazza: una dipendenza del Palazzo Ducale destinata agli appartamenti dei dignitari di corte e alla foresteria.
Dopo la devoluzione del ducato di Pesaro e Urbino alla Santa Sede nel 1631, la Paggeria, rimasta di proprietà dell’Ospedale di San Salvatore, fu in seguito acquistata dai marchesi Baviera, di cui ha conservato ancora oggi il nome. Antichissima e nobile casata originaria del regno di Baviera, i cui esponenti ricoprirono eminenti cariche al servizio dei Della Rovere.
Giovanni Giacomo di Baviera, zio materno e luogotenente di Giovanni della Rovere, nel 1489 era ascritto al nobile Consiglio di Senigallia, dove fece costruire il Palazzetto Baviera, tuttora esistente in Piazza del Duca.
Pur rimasta incompiuta nella parte ornamentale, l’antica Paggeria Ducale è un palazzo pregevole sia per il prospetto, vicino a schemi manieristici di impronta tosco-emiliana, sia per la sua funzione eminentemente urbanistica di edificio-quinta.
La struttura spaziale della parete è tutta ricondotta al piano, segnato nella parte inferiore da archeggiature con pilastri in bugnato (che creano una palese analogia con le arcate del Palazzo Ducale) soltanto lievemente aggettanti.
Nei piani superiori la superficie è scandita da lesene, anch’esse pochissimo aggettanti, e dalle cornici delle finestre che, nella fascia terminale, sono coronate da timpani con profili alternativamente rettilinei e curvilinei. Non esiste portale: un solo arcone è sfondato ma, nell’articolarsi della parete, è come se fosse pieno e serve a mettere in comunicazione la piazza con un piccolo slargo (via Baviera) che si trova dietro l’edificio, oggi adibito ad abitazioni e negozi.
La facciata su piazza del Popolo, immune da rifacimenti posteriori, non è mai stata sottoposta a un restauro conservativo, auspicabile per restituirla all’antica bellezza.