Johann Balthasar Neumann verbrachte seine erste Lehrzeit vermutlich bei seinem Paten, dem Glocken- und Metallgießer Balthasar Platzer und wechselte Anfang des 18. Jahrhunderts nach Würzburg zu Sebald Koch, wo er 1711 den Lehrbrief der "Büchsenmeister, Ernst- und Lustfeuerwerkerey" erwarb. 1712 trat er als Gemeiner in der fränkische Kreis-Artillerie ein, da er nur auf diesem Weg die nur Militärs offenstehende Laufbahn des Ingenieurs einschlagen konnte, und vervollkommnete seine Kenntnisse durch Studien auf dem Gebiet der Festungsbaukunst. Seit 1714 ist er im Dienst des Würzburger Hochstifts nachzuweisen. 1717/18 befand er sich mit den fränkischen Truppen in Österreich und Ungarn, wo er vermutlich als "Ingenieur" bei der Befestigung von Belgrad mitarbeitete. In Wien lernte er auch die richtungweisenden Barockbauten Johann Bernhard Fischer von Erlachs und Johann Lucas von Hildebrandts kennen und schulte sein architektonisches Gespür an ihnen. Eine Reise nach Mailand brachte ihm wohl auch die Begegnung mit den Werken Guarino Guarinis, die bestimmend für seine spätere genialische Auffassung von Raum wurden. Nachdem er in dieser Zeit unter der Leitung der Würzburger Baumeister Andreas Müller und Joseph Greising gearbeitet hatte, berief 1719 der neue Fürstbischof Johann Philipp Franz von Schönborn den Stückhauptmann und Oberingenieur Neumann zum fürstbischöflichen Baudirektor in Würzburg, als der dieser 1720 schließlich die Planung für den Neubau der Würzburger Residenz übernahm. der Würzburger Fürstbischof folgte dabei der Empfehlung seines Onkels, des Mainer Kurfürsten Lothar Franz von Schönborn, der schon 1715 ein Auge auf das aufstrebende Talent des Baumeisters geworfen hatte.

Seine Ideen von Architektur schult Neumann in diesen ersten Jahren in der Zusammenarbeit mit anderen im Dienst des Würzburger Bistums stehenden Architekten, wie Maximilian von Welsch, die Gebrüder von Erthal oder Ritter von Gronesteyn, durch die er mit der französischen Frühklassik Mansarts in Berührung kommt. Stilprägend wird aber die Auseinandersetzung mit dem Wiener Meister Johann Lucas von Hildebrandt.

Im Zusammenhang mit dem Bau der Residenz unternahm er im Auftrag seines fürstbischöflichen Dienstherren eine Studienreise, die ihn über Mannheim, Bruchsal, Straßburg und Nancy nach Paris führte. Hier festigte er in Kontakt mit Robert de Cotte, dem Ersten Architekten des französischen Königs, die bahnbrechenden Ideen neuer Raumdispositionen. Mit Germain Boffrand, dem anderen der großen Architekten Frankreichs. zusammen entwickelte Neumann in Paris seine Ideen von einem großzügigen Treppenhaus weiter, die ihn später berühmt machen sollten. 1724 avancierte er zum Major; durch die Heirat 1725 mit Maria Eva Engelberta Schild, der Tochter des geheimen Rats Franz Ignaz Schild, erhielt er familiären Zugang zu einflussreichen Beamten- und Ratsfamilien in Stadt und Bistum.

1729 wurde er Obristleutlant und anstelle Maximilians von Welsch Baudirektor in Bamberg, dem zweiten Bistum des neuen Würzburger Fürstbischofs Friedrich Karl von Schönborn. 1731 erhielt er den für ihn neu eingerichteten Lehrstuhl für Zivil- und Militärbaukunst an der Universität Würzburg und wurde 1741 Oberst, womit er den höchsten für ihn möglichen militärische Rang erreichte.

Durch die Politik der vom "Bauwurmb" besessenen Familie Schönborn, möglichst viele Bistümer mit Angehörigen zu besetzen, erweiterte sich Neumanns Wirkungskreis von Würzburg und Bamberg schließlich auf die Bistümer Speyer, Konstanz und Trier, selbst der Kölner Kurfürst Clemens August von Wittelsbach gibt ihm Auträge.

Ab 1723 war Neumann Mitglied der bischöflichen Baukommission, die er ab 1725 faktisch leitete. Nicht zuletzt als Baudirektor des Domkapitels erreichte eine dominierende Stellung im Würzburger Bauwesen, auch nachdem er unter Schönborns Nachfolger Anselm Franz von Ingelheim das Amt als Oberbaudirektor vorübergehend verlor. Daneben war er auch erfolgreicher selbständiger Unternehmer, als der er im Steigerwald die Schleichacher Glashütte und in Würzburg eine Spiegelschleiferei betrieb. Mit seinen Erzeugnissen versorgte er nicht nur die eigenen Bauten, sondern exportierte auch in andere Länder.

Am Ende seines Lebens zeichnete Neumann im Auftrag des Kaisers Franz von Lothringen Entwürfe für ein neues Treppenhaus in der Wiener Hofburg, die zu den großartigsten Treppenhäusern der Barockzeit zählen (1747), sowie gewaltige Entwürfe für Residenzen in Stuttgart (1747-49) und Karlsruhe (1750/51) sowie für Schwetzingen (1752)

Neumann starb 1753 in Würzburg als Oberst der Artillerie und fürstbischöflicher Oberbaudirektor. Die von ihm begonnene Abteikirche Neresheim wurde von anderen vollendet.