Nel 1462, grazie alla volontà di papa Pio II, la potente famiglia assisiana dei Fiumi può fregiarsi del titolo di “Conti di Sterpeto”. In questo modo viene confermata lo smembramento della contea e del castello stesso dal Comune di Assisi alla famiglia così devota e fedele alla Chiesa.
La nuova era di Sterpeto e del suo castello coincise con il rinfocolarsi delle accanite contese tra gli Oddi ed i Baglioni. I Fiumi si schierarono con i primi e subirono pesanti assalti da parte dei soldati nemici fino alla perdita del castello stesso. Solo l’intervento di papa Innocenzo VIII e del suo legato, il cardinale Francesco Silvio Piccolomini, riuscì a riportare sotto il controllo dei Fiumi la contea approfittando della guerra scoppiata tra le città di Foligno e Spello.
Giacomo e Alessandro Fiumi, nel 1511, stipularono un accordo concernente la comunione dei beni che prevedeva in caso di morte del primo dei due fratelli, l’attuale signore di Sterpeto, la designazione del secondo come amministratore del patrimonio. Nel 1535, dopo Sforza Fiumi, risulta signore di Sterpeto il conte Cesare che sposò Almena Baglioni e partecipò alle guerre di Carlo V contro il luterani. Vestendo i panni di luogotenente delle Armi Pontificie.
La conferma dell’infeudazione dei Fiumi, portata da papa Paolo III, fu un evento ricco di significato per questa contea. “Per maggior cautela – si legge nel discorso del ponteficie del 1546 – nuovamente concediamo e assegniamo in feudo, col solito censo di una libbra d’argento, il Castello di Sterpeto, col suo territorio, con selve e con boschi, acque e peschiere, diritti, giurisdizioni e pertinenze … a voi e ai vostri discendenti maschi in linea retta … e voi e i vostri posteri per sempre in essi investiamo e infeudiamo …”.
Da alcuni fascicoli custoditi nell’Archivio Storico Comunale di Assisi si comprende come i Fiumi avessero organizzato un vero e proprio piccolo stato in queste terre, con tanto di podestà (da essi nominato ogni sei mesi), balio, ufficiali fiscali, tribunale, notaio, soldati e di una vera e propria prigione dotata di tetri ed angusti locali, ceppi per la tortura e trabocchetto. La giurisdizione dei conti, con l’andar del tempo, si allargo di molto fino ad influenzare nel XVII secolo uomini e cose di Rocchicciola, S. Gregorio, Coltraticce, Collepune, Monte Villano, Mora, Torre Chiagina, Petrignano e altri.
I confini delle proprietà dei Conti Fiumi furono questione di discussione continua e confusa tra questi ultimi, il Comune di Assisi e anche la Curia Pontificia. Per tutto il secolo le documentazioni parlano di Consigli cittadini, intensi scambi di missive, delegazioni di uomini giunte nella contea e contenziosi in corso. Certo è che Sterpeto ed il suo castello continuarono ad essere considerati una realtà autonoma fino all’Ottocento.
Nel 1684 la linea diretta maschile si interruppe. Guido Fiumi, coniugato con Eleonora, fu infatti l’ultimo della dinastia poiché non ebbe figli maschi. Il feudo di conseguenza ricadde alla Camera. Rimase la contessa Almena, sua sorella, con Paolo Emilio Roncalli, suo figlio. Quest’ultimo assunse il cognome Fiumi e riebbe la Contea di Sterpeto.