Cmentarz wojenny austriacko-niemiecki został założony w Białej Podlaskiej w początkach września 1915 r. na polu uprawnym w pobliżu rosyjskich koszar wojskowych na zachodnim krańcu miasta, w odległości ok. 300m na północ od szosy Warszawa–Brześć (ul. Warszawska) - obecnie przy ul. Pokoju. Do końca grudnia 1918 r. cmentarz był czynny i dokonywano pochówków żołnierzy niemieckich zmarłych w miejscowym szpitalu polowym. Wg szacunkowych wyliczeń na cmentarzu spoczywa około 600-650 żołnierzy austriackich i niemieckich oraz innych narodowości m.in. Polacy, Czesi, Słowacy, Węgrzy. W okresie międzywojennym (1919-1939) był nieczynny. W latach niemieckiej okupacji (1939-1944) przeprowadzono jego renowację, a w lipcu 1941 r. od strony północnej urządzono nową część cmentarza, na której w latach 1941-44 dokonywano pochówków niemieckich żołnierzy, żandarmów i policjantów zmarłych w miejscowym szpitalu wojskowym. Ta nowa część przetrwała do drugiej połowy lipca 1944 r. Po wyzwoleniu Białej Podlaskiej, na początku sierpnia 1944 r. została zlikwidowana i zniszczona. W okresie od 1945 r. do wiosny 1990 r. cmentarz ulegał dalszemu niszczeniu, zachował się w stanie szczątkowym, jednak z widocznymi śladami mogił, alejki głównej i bocznych oraz wału ziemnego otaczającego cmentarz. Dopiero w roku od 1990 r. zaczęto sukcesywnie przywracać mu obecny wygląd, odnowiono pomnik, postawiono krzyże i ogrodzono.
Pomnik wzniesiony został z granitowych głazów. Na jego wierzchołku był umieszczony w 1915 r. powiększony emblemat niemieckiego odznaczenia – „Krzyż Żelazny”. Został on zdjęty przed wrześniem 1939 r. i dopiero przy rekonstrukcji pomnika po 1990 r. został ponownie tam umieszczony. Prace konserwatorskie nie zostały jeszcze ukończone. Brak jest pamiątkowej tablicy nagrobnej na zbiorowej mogile 12 austriackich żołnierzy z napisem HIER RUHEN 12 OSTERREICH HELDEN - Tu spoczywa 12 austriackich bohaterów. W czasie prac konserwatorskich natrafiono na nagrobek z wyrytym napisem Ś+P ULFZZ – KONSTANTIN CLANDEL 8 KOM. ST. R 22 +23.08.1915. Istnieje przypuszczenie, że nagrobek został wykonany w czasie okupacji niemieckiej przez polskiego rzemieślnika.