Serce Pierwszego Marszałka Polski przestało bić w niedzielę 12 maja 1935 roku o godzinie 20.45. Wieść o jego śmierci dotarła lotem błyskawicy w najdalsze zakątki kraju i poza jego granice. Polska zamarła w bezruchu – przerywano widowiska i koncerty, zamykano restauracje, ludzie gromadzili się w kościołach. Ulice miast i witryny sklepowe powoli zaczęto przyozdabiać biało-czerwonymi flagami z kirem oraz portretami zmarłego.
Józef Piłsudski został pochowany na Wawelu w Krakowie – 18 maja 1935 roku.
Żegnając Marszałka, Prezydent Polski Ignacy Mościcki tak o nim powiedział: "- Cieniom królewskim przybył towarzysz wiecznego snu. Skroń jego nie okala korona, a dłoń nie dzierży berła. A był królem serc i władcą doli naszej". W pogrzebie Józefa Piłsudskiego wzięło udział blisko ćwierć miliona ludzi, w tym przedstawiciele szesnastu państw z całego świata.
Ciało Józefa Piłsudskiego początkowo spoczęło w krypcie św. Leonarda w katedrze na Wawelu, obok m.in. króla Jana III Sobieskiego, księcia Józefa Poniatowskiego czy Tadeusza Kościuszki. Dwa lata później trumna została przeniesiona do osobnej krypty pod Wieżą Srebrnych Dzwonów.
Zgodnie z wolą zmarłego serce Marszałka spoczęło – 12 maja 1936 roku – obok trumny matki na wileńskim cmentarzu na Rossie.
Marszałek Józef Piłsudski jest szczególnie bliski Karpackiemu Oddziałowi Straży Granicznej. Ten wielki Polak niejednokrotnie wizytował koszary, w których obecnie Oddział ma swoją siedzibę, a gdzie stacjonował 1 Pułk Strzelców Podhalańskich. Kilkadziesiąt lat temu ulica 1 Pułku Strzelców Podhalańskich nosiła nazwę Józefa Piłsudskiego.
W Karpackim Oddziale SG, kultywującym tradycję 1 Pułku Strzelców Podhalańskich 15 listopada 2019 r. została otwarta Izba Tradycji, w której zgromadzone i udostępnione są materiały historyczne związane z formacjami granicznymi, począwszy od 1 Pułku Strzelców Podhalańskich, a którego imię nosi Karpacki Oddział Straży Granicznej w Nowym Sączu.
Do najbardziej cenionych eksponatów Izby Tradycji KaOSG należy maska pośmiertna Marszałka Józefa Piłsudskiego, która zajmuje w niej szczególne miejsce.
Została również przygotowana ekspozycja poświęcona Marszałkowi, w której znajdują się m.in. portret Józefa Piłsudskiego autorstwa Antoniego Suchanka z 1921 r.
Natomiast 13 grudnia 2019 r. w nowosądeckiej siedzibie Straży Granicznej uroczyście odsłonięto tablicę memoratywną upamiętniającą Marszałka Józefa Piłsudskiego. Tablica ta została wmurowana w fasadę budynku biura przepustek, stanowiącego wejście do koszar, które bardzo często odwiedzał Marszałek Józef Piłsudski przy okazji wizyt na Sądecczyźnie.
