Dopo aver sterminato parte delle famiglie rivali dei Fucci e dei Giustini, i Vitelli ripresero nel 1470 il controllo di Città di Castello per conto del papa, seppur tacitamente. Ma dopo l’elezione di Sisto IV nel 1471 la sorte della famiglia dovette fare i conti con le ambizioni del papa Della Rovere, che dal 1473 ricondusse a obbedienza le città dell’Umbria.
Probabilmente per destinare la città al nipote Giovanni Della Rovere, il pontefice si presentò in armi alle sue porte e la assediò sotto la guida di Giulio Cesare da Varano, Pino Ordelaffi e Lorenzo Giustini. A difesa dei Vitelli intervennero Firenze e Milano; con la mediazione di Federico da Montefeltro la famiglia si arrese e prese la via dell’esilio nelle terre fiorentine.
Durante la guerra tra Papato e Firenze del 1478 il capostipite Niccolò Vitelli tentò di riprendere la città per strapparla al controllo papale, ma fallì e si ritirò dalla disputa, restando con i figli in attesa di riprendersi la sua città.
Città di Castello, al confine con i domini fiorentini e in particolare con Sansepolcro, è oggi sotto il controllo indiretto del papa: governa la famiglia Giustini, e Federico da Montefeltro ne garantisce la tenuta per conto del suo signore.