来到吴国的伍子胥并未急于求见吴王，而是混迹于街市之中，吹竹箫以明心志。吴国大臣被离发现了他，将其引荐给了吴王。此时公子光也看中了伍子胥，只是下手晚了一步。吴王很欣赏伍子胥，许诺要替其报仇雪恨，并拜伍子胥为上大夫，委以重任。
公子光担心吴王重用伍子胥后，自己夺取王位的大计愈加难以实现，便对吴王僚说：“您贵为一国之主，而他乃村野匹夫，您怎能答应他的请求？再说，楚强，我们与之作战，胜少负多。即便取胜也只是替他一人报仇，泄了他的恨；若是不胜，会给我们的国家带来多大的灾难？”吴王觉得公子光言之有理，于是决定不去伐楚。伍子胥得知消息后，就辞了官，和公子胜到乡下种地去了。而此时的公子光又来了一招，让吴王与伍子胥的关系来个彻底了断，他对吴王说，伍子胥因您不肯替其报仇，已是怀恨在心。于是吴王对伍子胥更加疏远了。
此后公子光就去找伍子胥，向其表达了自己的心志。并说，如果伍子胥能助其当上吴王，他会替伍子胥报仇。这不失为诱人的条件，对伍子胥来说，他可不管谁当吴王，只要能报仇就行。于是伍子胥答应了，并向公子光推荐了自己的结义兄弟专诸，准备伺机刺杀吴王僚。
吴王僚十一年（前516年），楚平王熊居病死，昭王熊轸即位。伍子胥得知后，非常悲愤，平王已死，父兄之仇未报，这可怎么办？由于伍子胥报仇心切，竟然一连三天未曾进食。后来他想出一计，对公子光说：“你现在可以劝吴王趁楚君新丧攻楚，并让其用掩余、烛庸、公子庆忌为主将，而你在行军途中可假装摔伤而要求返回，这是你除掉吴王僚之绝佳时机。”
公子光依计行使。待吴师伐楚出征之后，他邀请吴王僚去家中做客，品尝在太湖请到的一位名厨做的炙鱼。这位名厨不是别人，正是专诸，他去学烤鱼，正是投吴王僚之所好，以寻机刺杀吴王僚，报伍子胥的知遇之恩。吴王僚果然上当，最终被专诸刺死。而此时在外的掩余、烛庸、公子庆忌闻讯后只得逃往他国。
此后，公子光即位，即为吴王阖闾。阖闾任命伍子胥为“行人”（掌管朝觐聘问之官），“以客礼事之，而与谋国政”，并命他主持修筑国都城池，修建仓库，铸造兵器，编练军队，训练士卒练习骑射及驾驭战车、战船等，准备称霸中原。
就在这时，伯来吴投奔伍子胥。伯本是楚国名臣伯州犁之孙。他的父亲伯郄宛是楚王左尹（令尹的助手），为人耿直，贤明有才能，深受百姓爱戴，因此受到了少傅费无忌的忌恨进谗，被贪得无厌的楚令尹（国相）囊瓦所杀，并株连全族。伯侥幸逃出，听说伍子胥在吴国混得不错，就跑来投奔子胥。同病相怜，而且有着同样的仇恨和仇人，伍子胥自然非常热情，俩人一见如故。于是，伍子胥就把伯推荐给吴王阖闾以求重用，而这也为伍子胥后来的悲惨命运埋下了伏笔。
吴王阖闾四年（前511年）秋，阖闾采纳了伍子胥的提出的“先疲敝楚军，再大举进攻”的战略方针，派军攻楚边邑夷（今安徽亳州东南）、潜（今安徽霍山南）、六（今安徽六安北）等地。楚军往援，吴军即退；楚军回师，吴又攻弦（今河南息县南）；楚再驰援，吴军又撤。此后年年如此袭扰楚境，以致“楚昭王即位，无岁不有吴师”。
吴王阖闾七年，楚属国桐（今安徽桐城北）叛楚附吴，伍子胥为达到“多方以误之”的目的，趁机唆使楚附庸舒鸠氏（今安徽舒城）诱楚来攻。楚昭王熊轸派囊瓦率军攻吴，阖闾则派伍子胥等率军迎击于豫章（今大别山东、巢湖以西，淮南、江北地区）。伍子胥将大量船只部署于豫章地区南部的江面上，故示守势，而将主力潜伏于巢邑（今安徽桐城、安庆之间）附近。囊瓦误认吴军尽在江上，遂对陆上警戒松懈。伍子胥则乘其不备，由侧翼突然发起进攻，楚军大败。吴军乘胜攻占巢城，俘楚大夫公子繁。
吴王阖闾九年，唐成公与蔡昭侯去朝楚之时，由于囊瓦贪求蔡昭侯所爱的皮衣、玉佩与名马等，蔡昭侯起始不给，因而遭到囊瓦侮辱。随后，囊瓦将蔡昭侯、唐成公一并囚禁数日。唐蔡二君回国后纠集了共17路诸侯讨伐楚国，后因晋国半路退出而只好作罢。沈国乃楚属国并未随征，蔡国恨之，回归途中灭了沈国，杀了沈君。楚国怪罪蔡国，于是出兵围蔡，蔡遂求援于吴。当时阖闾认为楚已疲惫，军力削弱，正打算趁机发起总攻。这时，伍子胥分析了敌情，并提出建议说：“楚将囊瓦贪，而唐、蔡皆怨之，王必欲大伐之，必先得唐、蔡乃可。”他的这一建议，利用了楚与邻国的矛盾，使自己也师出有名，相对也增强了自己的力量。更重要的是，唐、蔡两国为楚国北方门户，对吴而言，这两国位处楚国侧背，战略价值极大，如果吴军由此攻楚，则可以避开豫章地区楚军防备较严的正面战场，直趋楚都郢，更能起到战略突袭的作用。阖闾听后大喜，采纳了伍子胥的建议，命被离、专毅辅世子波据守国都，拜孙武为大将，伍子胥和伯为副将，其弟公子夫概作为先锋，共率吴兵六万，号称十万大军，从水路渡过淮水去救蔡国。楚将囊瓦见吴兵人多势众，于是放下蔡国急撤，并派人入郢都告急。此后唐国也来会合，自此唐、蔡、吴三国联合起来共同讨伐楚国。
孙武见囊瓦撤退，为了尽快追上楚军，命人弃船登岸，率大军沿江北陆路过三关，经过章山，直抵汉阳。而此时，楚军屯兵于汉水之南，吴兵则屯兵于汉水之北，囊瓦自撤军之后一直在等援军来助，故而非常担心吴军会渡江来攻，但又听说吴军是弃舟前来，心中稍感宽慰。而此时，楚昭王派沈尹戌（即叶公之父）率精兵15000人来到汉阳。得知孙武弃船前来，沈尹戌大喜，他对囊瓦说：“吴军素习水战，今却弃船而行，我率兵北上方城（今河南方城境内），征集那里的楚军，迂回到吴军的侧后，毁坏吴军舟楫，阻塞三关，切断吴军的归路。你领兵渡江，我们前后夹攻，吴军可败。”然而沈尹戌走后，囊瓦听信谗言，怕胜吴之后沈尹戌会位居己上，于是不用沈尹戌之计，而是自以为是，私自出击，结果中了吴军的埋伏，造成楚军大败，最后只得率残军退到柏举（今湖北麻城东北）。
囊瓦退至柏举之后，楚王又派（wei)射前去相助。但囊瓦主张进攻，射主张防守，两人意见不和，继而各自为政，互不相救。结果囊瓦兵败奔郑，射所领楚兵则在退归郢都的途中被吴军杀得七零八落，而沈尹戌也遭吴军围攻，力战身亡。
此后吴军乘胜追击，直逼郢都。郢都有三城（即麦城、纪南城、郢城），阖闾采用了伍子胥的策略，派伍子胥攻打麦城，孙武攻纪南城。伍子胥用计在麦城附近又筑二城，东曰“驴城”，西曰“磨城”，东驴西磨智破麦城。孙武则引漳水，水淹纪南城，连同郢城都给淹了。见此情形楚昭王熊轸只得仓皇出逃。郢都没有了楚王，自然就不攻自破。攻入郢都后，吴国君臣洗劫楚国国库，祸乱楚国后宫。