河图是在观察天象的过程中产生的，在远古时期其就成为了帝王所珍藏的宝物。
传说，伏羲生活的时代，曾经出现过巨大的自然灾害，依靠着女娲炼五彩石补天才将生活安定下来。女娲炼石补天的过程中，伏羲就守候在黄河岸边，观察水文的变化，提防洪涝灾害。一天，他看到汹涌的河水像一匹烈马在奔驰，被眼前的景象所震撼，回到家他找来一张斑马皮，对那水花的印象按照方位逐一的记录下来。他用枯枝烧穿马皮，形成一个圆洞来表示闪光的水珠，而对于背光的水珠，则用枯枝在马皮表面灼一个黑色圆点来表示。凭借着伏羲高超的记忆力，他一共画出了50个点，逐个烧灼成功，这幅伟大的华夏宇宙代数图，由于出自黄河，便被人们称为“河图”。
伏羲画图结束之后，又对这50个点加以了说明。他受到女娲补天熔炼五彩石的启示，，好似一个顶天立地的人，前后又各有五个暗点，代表人的双脚踏地所留下的趾印，于是让其代表土地；图中北方只有一个亮点，而与土密切的便是水，他又想到了“三山六水一份田”的景象，且恰好北方的暗点为六个，另外，寒冬的雪花也大多是六角，因此，北方代表水；由于南风带来温暖，且两个火石碰撞，会产生五彩火花，没有碰撞，也就没有五彩火花，这二与五，正对南方七个亮点，因此南方代表火；西方是女娲炼五彩石之地，石融化成金，西方是在太阳落山的方向，日落之后，四方变黑，这也契合四个暗点，同时还有九个太阳之说，太阳是金光闪闪的，所以，西方代表金；东方有三个亮点，太阳升起在东方，阳光先照树梢，再照树干，再照露地根，树的枝、干、根三部分，正合三个亮点，树枝在阳光照耀下朝八面生长，又契合东方的八个暗点，因此，东方代表木。
这样，河图的形状就形成了：
：五个白点在内，十个黑点在外，表示时空奇点，五行为土。
北方：一个白点在内，六个黑点在外，表示玄武星象，五行为水。
东方：三个白点在内，八个黑点在外，表示青龙星象，五行为木。
南方：二个黑点在内，七个白点在外，表示朱雀星象，五行为火。
西方：四个黑点在内，九个白点在外，表示白虎星象，五行为金。
河图中的水、火、木、金、土，日后被人们称为“五行”。五行在河图中的象数，也被后人概括为：“天一以生水，地六以成之；地二以生火，天七以成之；天三以生木，地八以成之；地四以生金，天九以成之；天五以生土，地十以成之”。河图坐北朝南，左东右西，水生木、木生火、火生土、土生金、金生水，为五行左旋相生。中心不动，一、三、五、七、九、为阳数左旋；二、四、六、八、十、为阴数左旋；皆为顺时针旋转，为五行万物相生之运行。
不过，也有人认为，河图是根据五星出没的时节而绘制的。五星在古代被称为五纬，是天上的五颗行星，木曰岁星，火曰荧惑星，土曰镇星，金曰太白星，水曰辰星，其一般都按照木、火、土、金、水的顺序出现。十一月冬至前，水星现于北方，这时正值寒冬，唯有冰雪和水，也就因此形成了水行的概念；七月夏至后，火星现于南方，这时正值酷暑，大地炎热，也因此形成了火行的概念；三月春分，木星现于东方，这时正当春季，草木复苏，随之形成了木行的概念；九月秋分，金星现于西方，因秋天杀伐之气当令，万物也逐渐凋谢，由此形成金行；五月土星现于中天，这时长夏湿土之气浮现，木火金水都以此为中点，由于木火金水引起的四时气候变化，都是通过地面上的观测得知的，因此形成了土行的概念。
从本质上来看，河图中用了十个黑白圆点表示出了阴阳、五行、四象。白点为奇数，代表阳，为天；黑点为偶数，代表阴，为地。古人有：“天地之数五十有五”，“以成变化而行鬼神也”，在河图中的10个数，1、3、5、7、9为阳，2、4、6、8、10为阴，阳数相加得到25，阴数相加得30，一共55。图中土为阴，四象在外为阳；中土为静，外四象为动。更加神奇的是如果将河图由方形变为圆形，木火为阳，金水为阴，阴土和阳土各自作为黑白鱼眼，就形成了太极图。在这时，水为太阴，火为太阳，木为少阳，金为少阴，就形成了太极四象。
四象，按照古人坐北朝南的方位为正位就是：前朱雀，后玄武，左青龙，右白虎，这也是风水象形之源。可见，河图虽然简单，但是却将中华文化的精髓融入其中，并将其融为一体。