Na zijn schooljaren op de Butler county school ging Anderson in 1910 naar de militaire academie West Point in New York. Hij slaagde op 12 juni 1914 en werd meteen benoemd tot 2e luitenant bij het korps Field Artillery. Anderson werd toegewezen aan het 6 Field Artillery Regiment en overgeplaatst naar El Paso in Texas waar hij samen met zijn eenheid diende aan de Amerikaans-Mexicaanse grens gedurende de Pancho Villa Expedition. Tijdens de Eerste Wereldoorlog werd Anderson met de 6 Field Artillery naar Frankrijk gezonden. Hij deed gevechtservaring op in de Sommerville-sector, ten zuidoosten van Nancy, in oktober en november 1917. In het voorjaar van 1918 diende hij met de British Expeditionary Forces in Ieper, België. Hij werd bevorderd tot adjudant en overgeplaatst naar de noordelijke sector van Toul in Frankrijk. Niet veel later werd hij weer teruggeplaatst naar het 6 Artillery Regiment, hier werd hij eerst commandant van een batterij en daarna stroomde hij door en werd bataljonscommandant tijdens de gevechten bij Cantigny.
Kapitein Anderson vloog terug naar Amerika op 15 mei 1918 en meldde zich bij het Army War College. Hier werkte hij op de historische afdeling. Na enkele bevorderingen en diverse standplaatsen werd hij in juli 1938 als luitenant-kolonel Anderson geplaatst bij de staf van de Artillery in Washington, D.C. als chef van de afdeling personeel.
Veel van Andersons klasgenoten van West Point werden in de Tweede Wereldoorlog benoemd tot generaal zoals onder andere James L. Bradley. Ook Anderson werd benoemd tot generaal. In november 1941 werd hij als brigadegeneraal (in opleiding) benoemd tot artilleriedivisiecommandant van de 2 Infantry Division. Deze divisie was gestationeerd in Fort Sam Houston in Texas. In juni 1942 verliet hij de 2 Infantry Division om als commandant de 102 Infantry Division op te zetten en op te leiden in Camp Maxey in Texas. In december 1943 werd het XVI Corps opgericht en Anderson werd benoemd tot commandant van deze divisie in januari 1944. Na hun training werden ze naar Europa gestuurd. Het XVI Corps nam deel aan de Rijnlandoperatie onder bevel van 9 US Army. Het XVI Corps onder commando van John B. Anderson bevrijdde Roermond.
Op woensdag 6 juni vond er een officiële plechtigheid plaats ter ere van de Amerikaanse bevrijders. Al vroeg in de middag verzamelde zich een grote menigte bij de Roerbrug over de Maastrichterweg om major general J. Anderson welkom te heten. Precies om 14.00 uur reed Anderson over de Roerbrug. De generaal werd verwelkomd door dr. Gribnau en burgemeester Joosten. Onder luid gejuich onthulde de burgemeester het bord met de straatnaam ‘Andersonweg’, een blijvende herinnering aan onze bevrijders. Daarna in een lange optocht naar het stadhuis. Bij aankomst op de Markt namen de Amerikaanse en Nederlandse officieren en de burgemeester plaats op het bordes. Dr. Gribnau bedankte major general Anderson namens de gehele Roermondse bevolking. Na de toespraak overhandigde hij de eremedaille van de stad Roermond aan de generaal. Hierna nam de generaal het woord en hij bedankte voor de huldiging en hij hoopte dat de wederopbouw voorspoedig zou verlopen. De plechtigheid werd afgesloten het Amerikaanse volkslied en Wien Neêrlands Bloed.
Anderson werd in oktober 1945 opgevolgd door major general Thomas D. Finley als commandant van het XVI Corps. Hij vloog terug naar Amerika. Vanwege gezondheidsredenen ging hij op 30 juni 1946 met pensioen. Op 1 september 1976 is John Benjamin Anderson op 85-jarige leeftijd overleden en begraven op Arlington National Cemetery in Washington, D.C.