却说朝廷的回复要求佛郎机的使节与船队全部退出大明，路已经走不下去了，葡萄牙人并不甘心，毕竟皮雷斯被派遣到大明来不是跟你大明开战，而是要和大明建立通商关系。于是葡萄牙人拒绝离开大明，继续驻扎在屯门港口。更过分的是还在当地修建军事阵地与房屋住所，企图长期呆下去。甚至还依照葡萄牙法律处死了一名中国水手！葡萄牙人是把屯门当作他葡萄牙的地盘了。
虽然在屯门的日子过得还不错，但是葡萄牙使者皮雷斯并没有完成自己的使命，在贿赂了大量的明朝官员之后，皮雷斯终于被许可进京朝贡。通过贿赂正德皇帝的心腹太监江彬，皮雷斯得以将自己的翻译火者亚三送到皇帝身边当葡萄牙语老师。依靠这种关系，屯门港的葡萄牙人才被允许继续停留在广东沿海，从事海上贸易。
葡萄牙人一心想越过广东地方政府，直接与大明朝廷建立贸易关系。正德十二年，葡萄牙人派出使者乘船本打算直接前往京师，被明朝水师拦截后，谎称是来中国进贡的。然而，此次葡萄牙并没有如愿进京，直到正德十六年，葡萄牙使者通过贿赂明朝官员，才最终获许进京。不过此时正值明廷权力更替，对葡萄牙人拥有好感的正德皇帝驾崩，皇太后下诏不许葡萄牙人进贡。明朝大臣认为葡萄牙人来华贸易动机不纯，决定驱逐盘踞着广东沿海的葡萄牙人。
“屯门”的意思就是设有屯田防卫之兵的海门，又称团门或者段门。境内主山为屯门山，又名青山，古名杯渡山，东面是屯门湾，古名屯门澳；湾以东为九迳山，以南为大屿山。屯门湾三面环山，是天然的避风港。无论对内的沿海交通，或对外的远洋航行，都以帆船为主，行驶常受季候风所支配，屯门的地理位置，紧扼广东珠江口外交通要冲；凡是大秦国、阿拉伯、天竺、中南半岛及南洋群岛等地人士，经由海路到中国贸易的，多会乘夏季西南风发之便，向东北航行，抵达中国海后，先在屯门聚集，然后才驶入广州等地。可见屯门在海路交通方面的重要性。
屯门岛有悠久的历史，早在西汉时期，屯门岛隶属南海郡博罗县。当时屯门已经有与制盐有关的商贸活动。
东晋咸和六年，屯门岛隶属东莞郡宝安县。东晋成帝咸和六年将南海郡东部划出，另设了一个东莞郡，下辖宝安、兴宁、海丰等六个县。宝安县的辖地就包括屯门岛。隋朝又废东莞郡，将辖地并入广州府南海郡，宝安县也改为隶属南海郡，屯门则仍归宝安县管理。
唐代设屯门镇，属安南都护府，设边防军驻守，"屯门"之名也由此而来，意为"屯兵之门"。唐朝至德二年，改宝安县为东莞县，屯门岛仍然隶属东莞县。当时停泊在屯门的商舶众多，而且被视为险要所在，故设置屯门镇以守捉使领兵驻守，巩卫屯门邻近一带海域。唐玄宗天宝三年，浙江永嘉及明台等州的海盗吴令光作乱，被南海太守刘巨鳞的屯门镇兵会同河南尹裴敦复合兵荡平。当时，屯门的地位已日渐重要，行经的旅客也日渐增加，著名诗人韩愈所写《赠别元十八协律诗》之六以及刘禹锡写的《踏潮歌》对屯门形势也多有描述。可见屯门的交通景况已广为人知。
五代时，南汉刘氏敕封杯渡山为瑞应山，并在山的北麓建军寨，设靖海都巡、同知屯门镇事，招集流亡，聚敛蕃舶器货。可见其对屯门的特别重视。
北宋初年，在屯门地区仍设屯门砦；元代屯门一地只设屯门巡检司，设巡检一员，兵150名，衙署在屯门寨。
宋元时期，内地人口大量迁至屯门岛，促使屯门岛的经济、文化得到很大的发展。元朝时，在广州的外港屯门又设巡检司，有军队驻防，防止海盗入侵，拱卫广州地区。
屯门岛地形主要为丘陵，最高点在大帽山。屯门岛的平地较少，约有两成土地属于低地，主要集中在新界北部，分别为元朗平原和粉岭低地，都是由河流自然形成的冲积平原；其次是位于九龙半岛及屯门岛北部，从原来狭窄的平地外扩张的填海土地。虽然习惯一名取自屯门岛，但屯门最大的岛屿却是面积比屯门岛大2倍多的大屿山。
屯门岛上的河流有城门河、梧桐河、林村河、元朗河和锦田河等，绝大多数河流长度都只有十多里， 深圳河发源于梧桐山牛尾岭，自东北向西南流入深圳湾，出伶仃洋。全长74里.屯门岛境内的梧桐河是深圳河的主要支流。
屯门岛面向南中国海，洋面广阔，岛屿众多。屯门北至兆康苑、东至龙珠岛、西至龙鼓滩，中间有屯门河穿过。普渡寺是屯门最著名的古刹之一。世传普渡寺建於距今一千多年前的东晋末年，它曾经有过斗姆寺、杯渡寺、杯渡庵、青云观等名字。
葡萄牙人对屯门岛早就有所觊觎，弘治六年，一批葡萄牙人侵扰广东东莞守御千所的领地，东莞守御千所千户袁光率领水军驱逐葡萄牙人，在岑子澳与葡萄牙船队遭遇，战斗中中弹身亡。此后，中国沿海及船只受到的侵扰越来越多。
正德三年，葡萄牙的薛魁拉率领船队从里斯本驶向东方，他的任务之一就是奉葡萄牙皇帝曼纽尔一世的命令收集中国的情报，但行至马六甲的时候，就因为其强盗行径遭到当地居民的痛击而不得不逃离了。1511年8月24日，葡萄牙人阿方索·德·阿布奎在遭到激烈抵抗后侵占了马六甲，马六甲变成了葡萄牙的中转站。
正德八年，葡萄牙人阿尔瓦雷斯率领一支船队到达广东珠江口沿岸，要求登陆进行贸易，没有得到大明朝廷批准，后在水面上与中国商人交易。塞克拉同年再次率领葡萄牙海盗商船直接侵占了屯门海澳，并在此修筑工事，设刑场，制火器，刻石立碑以示占领。
正德十年至十二年三年间，侵占马六甲的葡萄牙人若热·德·阿尔布克尔克派遣拉斐尔·佩雷斯特雷洛到中国进行贸易。正德12年6月17日，费尔南·佩雷兹·德·安德拉德带领葡萄牙使者皮莱资驾8艘船前往中国，于8月15日抵达屯门岛。当他们再北上时，遭到明水师阻拦，但葡萄牙人依仗船坚炮利，强行进入珠江内河，到达广州怀远驿。葡萄牙人知道中国人憎恶葡萄牙人，于是假扮成穆斯林，并宣称是向中国进贡的。两广总督陈金得知后，先安排他们在怀远驿住下，并发现他们并非穆斯林，也没有使节证明文件，而佛朗机亦不是历来进贡的国家。于是安排他们到光孝寺学习中国礼仪，同时将此事上奏朝廷。
正德十三年正月，朝廷答复，把葡萄牙人带来的特产按市价折成银两，使节进京洽谈，请其余船只、人等立即返回。葡萄牙人没有按照大明朝廷要求离开，而是退出广州，企图攻占南山半岛，但由于明朝驻军太多未能得逞。然后他们退至屯门岛，安营扎寨，做更多的军事准备。此后，葡萄牙人又在屯门海澳及和葵涌海澳探查据点，制火器，立石碑，同时干一些烧杀掠夺的勾当。当地居民怨声载道，纷纷向官府告状，并要求迁移到别处躲避佛朗机人的欺凌。
当年8月，若热·德·阿尔布克尔克派西芒·德·安德拉德换他的兄费尔南·佩雷兹·德·安德拉德到马六甲，大部分人都还留在屯门岛。葡萄牙人眼见这样拖下去无法见到中国皇帝，于是就贿赂广东的宦官。此法立即奏效，在正德十四年底，朝廷终于允许他们到京师朝见皇帝。正德十五年1月，皮莱资终于从广州启程，他事先已买通宦官得知正德皇帝在南京游玩，赶了四个月的路到达南京。正德皇帝知道葡萄牙使者到达南京却不急于召见，而是自行返回京师，并告知皮莱资到京师朝见。
正德十六年1月，皮莱资到达京师。皮莱资到京师后，又到处拉关系，行贿，并让自己的翻译火者亚三(本为中国人，因会讲葡萄牙语，成为皮莱资的助手)勾结正德皇帝身边的佞臣江彬。火者亚三教皇上学习葡萄牙语取乐，可以经常接触到皇帝，但他依仗皇帝和江彬的庇护，经常对官员无礼冒犯。主管外国进贡等事宜的四夷馆主客主事梁焯对不按规矩行礼的火者亚三施以杖刑，江彬得知后大骂梁焯，并向皇上告状。但朝中憎恶江彬及火者亚三品行的人很多，又有朝中重臣帮梁焯求情，因此皇帝并未治梁焯的罪。而在广东的葡萄牙人也因皮莱资进京而开始更加肆无忌惮。
正德16年4月20日，正德皇帝病逝，张皇太后当天就根据群臣意见杀了江彬，后又将火者亚三处死，并下诏不许葡萄牙人进贡。
七月，广东官员报，一批葡萄牙人到广州要求进行贸易，广东官员的意思是满足他们的要求，礼部认为葡萄牙人假借使者之名挟货通市，在广东沿海屯驻过久，一定另有目的，兵部也持类似观点。因此兵部与礼部都认为应当拒绝葡萄牙人的要求，并应当驱逐出境。新继位的嘉靖皇帝根据江彬及火者亚三的表现及礼部与兵部的态度，下令官员尽快驱逐佛朗机人，并再不许入境。
明代基本上是禁止海外贸易的。明初对于朝贡的国家有明确的时间间隔及停泊地等规定。但正德九年广东右布政使吴廷举擅自订立《番舶进贡交易之法》，规定外国商船来华时间不受限制，一到广东就可以上税、卖货。此举一出，外国商船接踵而来。朝廷官员认为吴延举应负有责任，但朝廷并未对吴延举进行追究，也没有对葡萄牙商船进行干预。后来朝廷官员认为佛朗机人扰民严重，要求对葡人进行驱逐。正德十五年，御史丘道隆及御史何鳌都曾向正德皇帝上奏，要求驱逐佛朗机人，但由于正德皇帝对佛朗机人有好感而不了了之，直到正德十六年嘉靖皇帝继位，刚刚继位的嘉靖皇帝办事雷厉风行，立即对他们的奏折进行复审，批了“准奏”二字。
