Après des études de droit et un diplôme d’avocat, Jean-Marie BOCKEL ouvre son cabinet d’avocat à Mulhouse en 1976, tout en débutant un engagement politique au Parti Socialiste.

De 1981 à 1993, puis de 1997 à 2002, il est député du Haut-Rhin. Depuis 2004, Jean-Marie BOCKEL est sénateur du Haut-Rhin, membre de la Commission des Affaires étrangères, de la Défense, et des Forces armées du Sénat, pour laquelle il a rédigé en juillet 2012 le rapport « La Cyberdéfense : un enjeu mondial, une priorité nationale », rapport phare dans la construction du dispositif national de cyberdéfense.

Il est également aujourd'hui Président de la Délégation sénatoriale aux collectivités territoriales et à la décentralisation, Président du Groupe France - Pays Baltes et Président délégué du Groupe France - Pays de la Corne de l'Afrique. Jean-Marie BOCKEL est par ailleurs membre titulaire de l'Assemblée Parlementaire du Conseil de l'Europe.

Secrétaire d’Etat auprès du ministre du commerce, de l’artisanat et du tourisme en 1984, Jean-Marie BOCKEL a été nommé ministre du commerce, de l’artisanat et du tourisme en 1986. En tant que ministre d’ouverture, il est nommé en juin 2007 Secrétaire d’Etat chargé de la coopération et de la francophonie, en 2008 Secrétaire d’Etat à la Défense et aux anciens combattants, puis en 2009 Secrétaire d’Etat à la Justice, poste qu'il assumera jusqu'en 2010.

Jean-Marie BOCKEL a également été Président de Mulhouse Alsace Agglomération - de 2010 à 2017 - et maire de Mulhouse - de 1989 à 2010. Il a été conseiller général du Haut-Rhin pendant dix ans, conseiller régional d'Alsace en 1992, et Président de l’Association des maires des grandes villes de France de 2001 à 2007.

Jean-Marie BOCKEL est colonel de réserve de l’armée de Terre (affecté à la Brigade Franco-Allemande) et membre de la Réserve Citoyenne Cyberdéfense. Il est Chevalier dans l’Ordre National de la Légion d’Honneur.