Markas Angkatan Bersama (MK AB) dahulunya dikenali sebagai Markas Pemerintahan Angkatan Bersama (MK PAB). Konsep penubuhannya telah diluluskan oleh Mesyuarat Lembaga Menteri yang bersidang pada 20 April 2004 dan Mesyuarat Jawatankuasa Panglima-Panglima ke-361 pada 16 Jun 2004. Perkara tersebut telah diangkat ke Mesyuarat Majlis Angkatan Tentera ke-340 pada 26 Julai 2004 dan diluluskan. Yang Amat Berhormat Timbalan Perdana Menteri (TPM) merangkap Menteri Pertahanan telah mengesyorkan supaya MK PAB dilancarkan dengan segera menggunakan perjawatan sedia ada di dalam ATM. MK PAB telah dilancarkan oleh TPM pada 6 September 2004. Ianya diwujudkan untuk memenuhi keperluan penubuhan MK PAB yang berbentuk ad hoc sebelum Kertas Cadangan Penubuhan dimajukan ke agensi pusat.
Ketika itu Ketua Staf MK ATM, Laksamana Madya Dato’ Ramlan bin Mohamed Ali telah dilantik merangkap jawatan sebagai Panglima Pemerintahan Angkatan Bersama mulai 6 September 2004 secara ad hoc.
Sepanjang penugasan MK PAB secara ad hoc pelbagai cabaran dihadapi. Ini disebabkan perjawatan sebagai ad hoc menimbulkan kesulitan dalam pelaksanaan tugas. Justeru, organisasi ad hoc ini ditangguhkan sementara (Ogos 2005) sehingga ditubuhkan semula pada 1 Disember 2006. Ketua Staf MK ATM, Leftenan Jeneral Datuk Haji Shahron bin Haji Ibrahim TUDM ketika itu telah dilantik untuk merangkap jawatan Panglima Pemerintahan Angkatan Bersama. Penubuhan pada kali ini lebih menumpukan kepada kewujudan perjawatan keanggotaan yang kekal dan bertugas di sebuah markas yang tersendiri bagi mengendalikan operasi yang lebih mantap.
Bagi menentukan perjawatan MK AB dapat direalisasikan, MK ATM melalui Bahagian Perancangan Pertahanan yang ketika itu diketuai oleh Mejar Jeneral Dato’ Allatif bin Mohd Noor (AKS PP ketika itu) telah memacu usaha untuk memperoleh perjawatan tetap MK AB. Di atas usaha ini dengan sokongan Panglima Angkatan Tentera maka perjawatan organisasi MK AB diluluskan oleh Jabatan Perkhidmatan Awam secara rasminya pada 16 Julai 2007. Hasil dari kelulusan tersebut, Ketua Staf MK ATM telah menyerahkan tugas Panglima Angkatan Bersama kepada Leftenan Jeneral Dato’ Allatif bin Mohd Noor. Perjawatan tetap untuk Panglima Angkatan Bersama yang pertama telah dilantik secara khasnya pada tanggal 1 Oktober 2007.
