1894年6月，经过巴黎国际体育会议协商，历史名城雅典赢得了首届现代奥运会主办权。

第一届奥运会克服重重困难，终于在1896年4月6日开幕了。这是历届奥运会举行月份最早的一次。东道主之所以将开幕式选在这一天，是为了纪念希腊反抗土耳其统治起义75周年。

4月6日下午3时，希腊国王乔治一世宣布了大会开幕。维凯拉斯、顾拜旦等国际奥委会官员出席了开幕式。在开幕典礼中，演奏了一曲庄严的古典弦乐，1958年国际奥委会将它定为奥运会会歌，会歌作曲者为希腊人萨马拉斯，作词者为帕拉马斯。希腊人对这次大会表现了极大的热情，出席开幕式的观众达8万人，这一数字直到1932年洛杉机奥运会才被打破。

应邀参加首届现代奥运会的有澳大利亚、奥地利、保加利亚、英国、匈牙利、德国、丹麦、美国、法国、智利、瑞士、瑞典和东道主希腊13个国家的311名运动员，希腊代表团的阵容最庞大，共有230人，占总人数的三分之二；德国、法国各19人；美国14人，居第四位。美国选手大都来自哈佛、普林斯顿大学，他们是自行组织、自筹经费，是抱着到欧洲观光的目的参加的。他们原以为大会在4月18开幕，4月1日到达意大利后才得知开幕日期是4月6日，因此只好放弃一切游览计划，赶在开幕前到达了雅典。

首届奥运会东道主沿袭了古奥运会旧制，不允许女子运动员参加。对于参加国的资格，不像今天一样，有非国际奥委会会员国不得参加的规定。希腊向包括中国在内的世界各国发出了邀请，但绝大多数国家因对奥运会不甚了解或其他原因，都未派队出席，中国亦属此列。希腊的邻国意大利曾去了一名米兰的运动员，这也是意大利派出的唯一选手。但大会组委会认为他是职业运动员，因此未被允许参加。

雅典的大理石体育场是首届奥运会的主要运动场，它是在雅典古运动场的废墟上重建而成的。

首届奥运会比赛项目有田径、游泳、举重、射击、自行车、古典式摔跤(当时称希腊--罗马式)、体操、击剑和网球9个大项，原计划中有赛艇项目，后未举行。东道主没有设200米跑项目，这在奥运会史上是仅有的一次。

4月6日，比赛拉开了序幕。美国选手詹姆斯-康诺利在三级跳远赛中旗开得胜，以13.71米夺得现代奥运会的第一个冠军。他获胜后，运动场上奏起了美国国歌，升起了美国国旗。此后，奏国歌、升国旗成了奥运会颁奖仪式上的固定程序。

在男子100米决赛中，美国的托马斯-伯克采用了近似蹲踞式的起跑法，最终以12秒整的成绩夺得了冠军。本届110米跨栏，实际比赛距离是100米，栏也只有8个。比赛时，运动员的过栏姿势也是五花八门，有的甚至是双腿蹦过栏后再跑。预赛时有7人，决赛仅剩下2人，结果美国跨栏冠军托马斯-柯蒂斯摘下了这顶桂冠。

雅典奥运会最热烈、最轰动的比赛场面是马拉松比赛。奥运会前，法国语言学家米歇尔-布里尔曾赴希腊考察，对马拉松战役中的传奇英雄菲迪皮得斯非常钦佩。公元前490年希腊在马拉松河谷以少胜多，大败入侵的波斯军。当时，担任传令兵的菲迪皮得斯，奉命把这一胜利消息迅速转告固守待援的雅典，他不顾疲劳，从马拉松跑到雅典，到达雅典后已精疲力尽，只说了一句我们胜利了！就倒毙在广场上。布里尔有感于这一英雄事迹，写信给顾拜旦建议，在奥运会田径赛中专门增设一项马拉松比赛，并提出捐献一个布里尔银杯，作为对冠军的奖励。