Der Ortsname Pfaffendorf erscheint erstmals in der 2. Hälfte des 11. Jahrhunderts im Zusammenhang mit einer Schenkung der Konversin Acela, verbunden mit den Grafen von Schweinfurt, an das Domstift Bamberg.
Ungewöhnlich ist die Lage der Kirche außerhalb des Dorfes. Sie deutet auf einen vorchristlichen Kultort hin. Die Quelle mag hierbei von Bedeutung gewesen sein. Über ihr ist auf einem steinernen Bogen ein Bildstock zu Ehren der Hl. Notburga errichtet. Die heutige Kirche, ursprünglich „Zum Heiligen Grab", wurde zu Beginn des 17. Jahrhunderts erbaut und entwickelte sich zu einem Wallfahrtsort. Heute ist St. Georg der Kirchenpatron.
Jahrhunderte lang gehörte Pfaffendorf zum Kloster Langheim. 1818 wurde es mit Giechkröttendorf, Bernreuth und einigen Weilern zu einer eigenen Gemeinde zusammengefasst. Das Bild des Dorfes, zum größeren Teil südlich der Staatsstraße gelegen, ist bis heute durch seine Hofstätten geprägt. Die neue Zeit hat mit Siedlungshäusern nördlich der Straße Einzug gehalten.