Anticamente il paese era chiamato Polvericci, per via del terreno sabbioso e polveroso; poco abitato, pieno di sterpaglie e fitte boscaglie era la meta preferita dagli eremiti.
Verso l'anno 835 si sa dell'esistenza della parrocchia di S. Damiano dei monaci Avellaniti. Dopo l'anno mille i monaci si trasferirono nell'attuale Polverigi dove fondarono la chiesa di S. Antonino, e nello stesso tempo iniziò la costruzione del "Castello". Questo è avvalorato dal ritrovamento d'una moneta del doge Falerio, ed un mattone recante incisa la data del 1141. L'edificazione terminò dopo il XII secolo, e proprio qui nel 1202 venne stipulato l'accordo di non belligeranza tra le città di Ancona, Osimo e Fermo. L'arco d'entrata, con forma a volta, una volta fornito di saracinesca e ponte levatoio, è tutto ciò che resta dell'antico castello, che ha visto le proprie mura, torri e merlature trasformate in case abitative.
Nel 1323 le frequenti guerriglie tra Guelfi e Ghibellini fecero strage della popolazione e Polverigi fu spogliato dei propri beni da un avventuriero chiamato "Lo Schiavo". In seguito a questi fatti, Polverigi preferì mettersi sotto la protezione di Ancona, con la quale ebbe sempre ottimi rapporti e fu a causa di questi che nel 1517 fu saccheggiata da Ludovico di Fermo durante la guerra del ducato di Urbino.
Costruita nel XIV secolo, la Chiesa del Sacramento (Santa Maria Maddalena), conserva ancora gli elementi gotico-romanici iniziali. Tra il XVII e XVIII secolo l'interno fu trasformato in stile barocco, anche se il pavimento ed il soffitto sono rimasti originali. All'interno molti affreschi di diverse epoche: Madonna con Bambino e un S. Agostino, dipinti attorno al quattrocento con stili di scuola marchigiana, e un S. Bernardo baroccheggiante. Anticamente era unita col parco comunale e Villa Nappi, antica residenza oggi sede di Inteatro; mandati via gli Agostiniani nel periodo di governo di Napoleone nel 1815 il tutto fu acquistato dai conti Nappi e successivamente nel 1972 fu venduto al comune.
Opera di Gabuzzi fu la Chiesa parrocchiale di S. Antonio che custodisce un insigne dipinto di Ercole Ramazzani del 1583 intitolata (la deposizione della Croce).
Nella sede municipale di Polverigi in una parete è raffigurato un affresco (la Crocefissione) di scuola marchigiana del '400, recentemente attribuito a Giovanni Antonio Bellinzoni da Pesaro.
Il Roccolo (che prende il nome dalla forma rottondeggiante) delimita il centro storico che un tempo fu quello che circondava con le mura il castello.