Urodził się 4 października 1894 roku w Warszawie w rodzinie urzędniczej. Po maturze, w 1912 roku, wstąpił na Politechnikę Lwowską. Studiował tu tylko rok, po czym kształcił się dalej w Wyższej Szkole Handlu Zagranicznego w Wiedniu. Edukację przyszłego ministra przerwał wybuch I wojny światowej: w sierpniu 1914 roku Beck wstąpił do 1 Brygady Legionów Polskich i jako artylerzysta walczył w niej aż do tzw. kryzysu przysięgowego w 1917 roku . Działalność niepodległościową kontynuował następnie w Polskiej Organizacji Wojskowej – we Lwowie, na Ukrainie i w Rosji.
Od listopada 1918 roku służył w Wojsku Polskim na różnych stanowiskach, m. in. [1920 r.] jako szef Oddziału II Sztabu Generalnego Wojska Polskiego. W latach 1922 – 1923 przebywał za granicą – jako attache wojskowy Rzeczypospolitej w Paryżu i Brukseli.
Po zamachu majowym, w czasie którego wystąpił czynnie po stronie Marszałka Józefa Piłsudskiego, został na cztery lata szefem gabinetu zwycięzcy walk majowych – jako ministra spraw wojskowych.
W 1930 r. Beck, z inicjatywy Piłsudskiego, został mianowany podsekretarzem stanu w Ministerstwie Spraw Zagranicznych. Nominacja zwiastowała reorientację w polskiej polityce zagranicznej, którą uosabiał dotychczasowy minister – August Zaleski, dyplomata, uważany przez Piłsudskiego za zbyt uległego wobec Ligi Narodów.
Podstawową wytyczną polityki Becka na stanowisku ministra było dążenie do zapewnienia Polsce bezpieczeństwa poprzez uprawianie polityki „równej odległości” od dwóch potężnych sąsiadów Rzeczypospolitej – Niemiec i Związku Sowieckiego. Beck, jeszcze jako wiceminister, przyczynił się do zawarcia 15 lipca 1932 r. układu o nieagresji z ZSRS, a jako minister doprowadził w grudniu 1932 roku do wymiany dokumentów ratyfikacyjnych tego układu.
W odniesieniu do zachodniego sąsiada Polski, Niemiec, Beck, urzeczywistniając politykę „równowagi” między orientacją na wschodniego i zachodniego sąsiada Rzeczypospolitej, doprowadził do podpisania 26 stycznia 1934 roku polsko – niemieckiej deklaracji o niestosowaniu przemocy. Posunięciem, które miało rozluźnić zależność Polski od Ligi Narodów było z kolei wypowiedzenie tzw. układu mniejszościowego (wrzesień 1934 r.), dającego mniejszościom narodowym zamieszkującym Rzeczypospolitą prawo odwoływania się bezpośrednio do Ligi – w przypadku, gdy czuły się one dyskryminowane.
Druga połowa lat trzydziestych przyniosła takie posunięcia ministra, jak wystosowanie ultimatum pod adresem Litwy, zakończone zgodą rządu tego kraju na nawiązanie stosunków dyplomatycznych z Polską (marzec 1938 r.) oraz ultimatum wobec rządu Czechosłowacji, z żądaniem zwrócenia Polsce Zaolzia (wrzesień tegoż roku). Polityka równowagi, prowadzona przez ministra, stanęła pod znakiem zapytania jesienią 1938 r., kiedy to III Rzesza po raz pierwszy wysunęła pod adresem Polski żądania, które oznaczały dla Rzeczypospolitej wprzęgnięcie w rydwan niemieckiej polityki: włączenia Wolnego Miasta Gdańska do Niemiec, przeprowadzenia eksterytorialnych linii komunikacyjnych do Prus Wschodnich oraz wstąpienia Polski do Paktu Antykominternowskiego.
Beck odrzucił żądania niemieckie i przyjął brytyjskie gwarancje dla Polski, co spowodowało z kolei wypowiedzenie przez Niemcy deklaracji z 1934 r. Na posunięcie to Beck odpowiedział słynnym przemówieniem w Sejmie 5 maja 1939 r., w którym jeszcze raz odrzucił żądania niemieckie co do Gdańska, i zapowiedział, że Polska od Bałtyku odepchnąć się nie da. Dał też niedwuznacznie do zrozumienia, że z praw swych Polska nie zrezygnuje bez walki, mówiąc m. in.:
„My w Polsce nie znamy pojęcia pokoju za wszelka cenę.”
Po wybuchu wojny minister ewakuował się do Rumunii, i tu, podobnie jak pozostali członkowie polskiego rządu – został internowany.
Na rumuńskiej ziemi zakończył też życie: zmarł 6 czerwca 1944 roku w wiosce Stanesti na gruźlicę.
Józef Beck pozostawił po sobie m. in. następujące publikacje: „Przemówienia, deklaracje, wywiady 1931 - 1939” (1939); „Dernier rapport. Politique polonaise 1926 – 1939” (1951; wydanie polskie pt. „Ostatni raport” 1987).
