1949年，中华人民共和国成立，同年10月改组原中华体育协进会为中华全国体育总会即中国奥林匹克委员会。这是全中国惟一法定的全国性体育组织，但由于某些国际体育组织中的少数人企图制造“两个中国”，致使新中国与国际奥委会的关系出现一些波折，中国参加国际体育活动受到阻挠。中国奥委会的发展与中际奥委会关系正常化经历了一段曲折的过程。

1952年，在芬兰赫尔辛基举行的第十五届奥运会，中国作为国际奥委会的成员国理应有权参加。可是某些要蓄意在中国席位问题上制造事端，经过中国的坚决斗争，当时的国际奥委会主席埃德斯特隆不得不承认中华全国体育总会“领导给着百分之九十五以上的中国青年”。但又无理声称“由于中国的混乱，在困难解决之前，任何运动员不得参加比赛”。

但是中国参加奥运会比赛的正义要求赢得了世界舆论和国际社会、国际奥委会中正义人士的广泛支持，国际奥委会终于在第十五届奥运会开幕前夕，做出了邀请中华人民共和国运动员参加这次奥运会的决议。中国派出了40人的体育代表团参加，其中运动员26人，参加篮球、足球和游泳比赛。但因此比赛赛程业已接近尾声，只有游泳运动员吴传玉参加了100米仰泳预赛。成绩是1分12秒3。新中国成立后，首次参加奥运会竞技，第一次走进奥运会赛场，虽未取得成绩，但维护了中国参加奥运会竞技比赛的合法权利。

1954年，国际奥委会第四十九届会议在希腊举行，在这次会议上，中华人民共和国在国际奥委会的合法席位终于得到承认。但是，对于刚刚成立的社会主义新中国，仍有个别人持敌视的态度，竟然偷偷地把中国台湾省地方体育组织列入国际奥委会所承认的各国奥委会名单。这分明仍坚持“两个中国”的错误态度。此后，1956年，国际奥委会在某些人的操纵下，继续蓄意制造“两个中国”。中国人民坚决反对这种行为。在多次提出抗议无效的情况下，中国奥委会于同年11月6日正式宣布不参加第十六届奥运会，以实际行动表示抗议。

此后，国际奥委会中的某些人继续坚持制造“两个中国”的错误态度。一些国际单项运动联合会也仿效这种错误做法。这种做法大大损害了中国奥委会的权利，践踏了中国奥委会的尊严。在这种情况下，中国奥委会毅然做出决定，于1958年8月19日发表关于同国际奥委会断绝关系的声明，并且宣布退出国际田径、篮球、举重、游泳、射击、摔跤、自行车联合会以及亚洲乒乓球联合会八个国际体育组织，同年6月7日宣布退出国际足球联合会。

中国奥委会与国际奥委会断绝关系前后，国际奥委会在某些人的操纵下，非法地承认中国台湾省的体育组织，并在1970年选举了台湾省徐亨为国际奥委会委员，在此期间，中国台湾省的运动员先后参加了五届夏季奥运会。

1979年，随着中国大国地位的提高和国际形势的变化，中国奥委会向国际奥委会提出了解决中国在国际奥委会的合法席位问题的建议，随后，10月25日，国际奥委会执行委员会在日本名古屋举行会议，一致通过恢复中国在国际奥委会的合法席位的决议。11月26日，国际奥委会在洛桑宣布：国际奥委会经过全体委员的通讯表决，以62票赞成，17票反对，2票弃权，批准了执委会在名古屋做出的关于中国代表权的决议，决定中华人民共和国奥林匹克委员会的名称为“中国奥林匹克委员会”，使用中华人民共和国的国旗和国歌；设在台北的奥委会的名称是“中国台北奥林匹克委员会”。不能使用它目前的旗、歌和会徽，新的旗，歌和会徽必须得到国际奥委会的批准。11月27日，中国奥委会主席钟师统宣布：中国奥委会决定接受国际奥委会的决议，并参加1980年举行的冬季和夏季奥运会。

这样，经过21年的斗争，中国在国际奥委会中的合法席位终于得到了解决，1981年，何振梁当选为国际奥委会委员，1985年又当选为国际奥委会执委，现在，何振梁不仅是中国奥委会主席，同时又是国际奥委会副主席。中国与国际奥委会的关系进入顺利合作的新阶段。中国积极参加冬季和夏季奥运会的竞技运动，支持国际奥委会的活动，促进了中国和国际体育运动的发展。中国奥委会在中国人民的大力支持下，积极发起争办“北京2000年奥运会”。

中国奥林匹克委员会，是中国发展体育和推动奥林匹克运动性的全国群众性体育组织，会址设在北京。中国奥委会由主管各单项奥林匹克项目运动协会和其他群众性体育组织的代表组成，最权力机构是全体委员会会议。全体委员会议选举主席、副主席、秘书长、司库和委员若干人组成执行委员会，主持日常工作。执行委员会下设体育部、安理会部、竞赛部等办事机构。中国奥委会的主要任务是协调奥林匹克项目的开展，选拔并组织运动员参加奥运会和冬季奥运会、亚运会和冬季亚运会，中国奥林匹克委员会现任主席是何振梁。

1993年，又成立了中国奥林匹克运动会的辅助性组织机构----奥星促进会，会址设在北京。由世界极三大(奥运会、世界锦标赛、世界杯赛)中取得优异成绩的运动员、教练员以及为体育做出过突出贡献的体育工作者自愿组成。会长张健，副会长张蓉芳、聂卫平，秘书长陈招娣。它为适应社会主义市场经济，探索体育改革之路，旨在积极发展自身能力，依靠社会各界支持，致力于提高中华民族身体，培养未来奥运新星，支持中国奥委会的行动，吸引挽留体育人才，繁荣发展体育，奥促会作为现行体制的一种积极有益的补充，钭努力在深化中国体育改革中发挥应有作用。

另外，中国奥委会和中国台北奥委会均为亚奥理事会成员(分别于1973年和1982年加入。