Der Max-Turm zählt heute zur "Neuen Maxburg", ist aber der letzte Rest der "Herzog-Max-Burg", die wiederum in den Jahren 1593 bis 1596 als "Wilhelminische Veste" errichtet wurde. So hat sich ein Renaissanceturm an der Mündung der Pacellistraße in den Lenbachplatz erhalten, den bereits Herzog Wilhelm V. von Bayern (1548-1626) in Auftrag gegeben hatte. Trotzdem haftet nicht sein Name an dem Bauwerk, sondern der seines Enkels Maximilian Philipp (1638-1705).
Wilhelm hatte im Jahr 1597, also kurz nach der Fertigstellung seiner "Veste", zugunsten seines Sohnes Maximilian I. (1573-1651) abgedankt und sich hierher, in die Nähe des Karlstors und des Jesuitenklosters, zurückgezogen. Ferdinand Maria, der älteste Sohn von Maximilian I. wurde dessen Nachfolger als Kurfürst von Bayern, so dass der zweitgeborenen Sohn Maximilian Philipp das Herzogtum Bayern-Leuchtenburg sowie die Herrschaft Schwabegg erhielt. Dieser residierte daher in der "Veste" seines Großvaters und erhielt auch dessen finanzielle Ausstattung (60.000 Gulden pro Jahr). Nur als sein Bruder im Jahr 1679 starb, wurde er für ein Jahr Kurfürst, um so seinen Neffen Maximilian II. Emanuel (1662-1726), als dessen Vormund er agierte, in die Regierungsgeschäfte einzuführen. Somit spielte er über viele Jahrzehnte hinweg die zweite Geige, während der jeweilige Kurfürst in der Residenz lebte. Das erklärt wiederum die Namensgebung dieses parallelen Regierungssitzes, dessen gängiger Name "Herzog-Max-Burg" unter dem Wappenstein angebracht wurde.
Die Rolle als Residenz der nicht regierenden Familienmitglieder der Wittelsbacher blieb dem Bau über Jahrhunderte erhalten. Erst im Jahr 1841 erfolgte eine Umnutzung. Bis zur Zerstörung im Zweiten Weltkrieg war sie nun Verwaltungsgebäude für zivile und militärische Zwecke. Der 1954 bis 1957 errichtete Nachfolgebau ("Neue Maxburg") beherbergt Amtsgericht und Landgericht.