Период с 1391 по 1415 годы Людвиг VII (Герцог Баварии-Ингольштадт годы жизьни 1368-1447) прожил во Франции при дворе своей сестры королевы Изабо и её мужа Карла VI. Там он стал библиофилом, а вернувшись в Германию в 1418 году дал распоряжение начать строительство в Ингольштадте замка во французском стиле.

Сооружение, расположенное с восточного края городской стены и окружённое глубоким и широким рвом, являлось городской крепостью. Расположенная вдоль оси нынешней Людвигштрассе башня, позволяла контролировать весь город. При постройке замка в него были интегрированы одни из четырёх ворот городских укреплений,которые были разрушены в 1879 году .

Внешние стены четырёхметровой толщины образуют в плане прямоугольник, на западной стороне которого стоят две четырёхгранные башни, третья башня, стоящая с восточной стороны, имеет пять сторон, а четвёртая, самая мощная, стоит отдельно. Трёхэтажный герцогский дворец покрыт высокой двускатной крышей.

В настоящие время расположен Армейский музей и открыт для посетителей.