Bald nach der Geburt stürzte er in einem unbewachten Augenblick vom Tisch, wodurch sein Rückgrat verletzt wurde und ein gekrümmter Körperwuchs die Folge war.
Wegen seiner großen zeichnerischen Begabung wurde er schon 1810 in die Kunstschule St. Anna aufgenommen, wo er bis 1814 studierte. In diesem Jahr starb sein Vater, und Peter war gezwungen, für sich und seine mittellose Mutter bei einem Advokaten als Schreiber Geld zu verdienen.
1818 wurde Fendi als Zeichner im Münz- und Antikenkabinett angestellt. Im Auftrag seiner Dienststelle hielt er antike Funde in Italien und Salzburg im Bild fest; in der Antikensammlung des Kunsthistorischen Museums sind mehr als 2000 Blätter aus seiner Hand erhalten.