Juché sur un formidable socle rocheux, le château de l'Empéri qui abrite le musée, est le plus ancien et l'un des trois plus importants châteaux forts de Provence, avec ceux d'Avignon et de Tarascon. Bâti à partir de la fin du Xème siècle, il fut la résidence préférée des archevêques d'Arles dont Salon fut le fief du IXème au XVIIIème siècle, sous la suzeraineté de l'Empire romain germanique (d'où le nom de l'Empéri), puis des rois de France.
  De nombreux personnages illustres y séjournèrent, papes, empereurs et rois: le roi René, François 1er, Catherine de Médicis venue consulter Nostradamus, Henri IV, Mazarin, Louis XIV...
 

Propriété de la ville de Salon depuis la Révolution, le château devint une caserne au XIXème siècle et accueillit des régiments de l'Armée d'Afrique.

Restauré et transformé en musée d'histoire locale après la deuxième guerre mondiale, il abrite depuis 1976 une des plus belles collections d'art et d'histoire militaire au monde, la collection Raoul et Jean Brunon, riche de dix mille objets, acquise par l'Etat en 1967.