La famiglia Pompei di Verona iniziò la sua ascesa nel tardo medioevo. Il capostipite della famiglia fu Pompeo Pompei, che visse a Verona quando la città era governata da Antonio della Scala. Nel 1410 la famiglia Pompei entrò a far parte del nobile Consiglio di Verona. Il nipote di Pompeo, Giovanni, ottenne dalla Repubblica di Venezia nel 1474 il privilegio di immunità e gli furono riconosciuti i suoi possedimenti presso Illasi.
La famiglia Pompei si era infatti già fatta notare nell'amministrazione veronese, tanto che un suo membro nel 1438 era stato nominato comandante delle difese della città di Verona. Combattendo per conto di Venezia, nel 1509 Girolamo Pompei riuscì a catturare il marchese di Mantova Francesco II Gonzaga, che aveva tradito la Repubblica veneta passando dalla parte della Lega di Cambrai capeggiata da papa Giulio II. Per questo, Girolamo ottenne il titolo di conte di Illasi, da anni il feudo dei Pompei. Tra gli altri riconoscimenti ottenuto dai Pompei ci fu quello di divenire cittadini onorari di Milano, titolo loro conferito dall'imperatore Carlo V d'Asburgo.
Con la caduta di Napoleone, l'Imperatore d'Austria Francesco I conferì ai Pompei il titolo di conti dell'Impero. La famiglia Pompei si estinse nel 1851, mantenendo i rami dei conti Sagramoso Perez-Pompei e dei marchesi Carlotti.