在建筑工程中，如果施工单位没有按照设计图纸施工无障碍设施，将面临相应的法律责任。根据《中华人民共和国建筑法》及相关法律法规的规定，施工单位需要承担的责任主要包括以下几个方面：
1. 违法责任：未按图施工的行为违反了国家关于建筑工程质量和安全的强制性标准和要求，可能构成违法。对此，建设行政主管部门有权责令改正，并处以罚款等行政处罚。
2. 赔偿责任：因未按设计图纸施工无障碍设施导致业主或使用者受到损害的，施工单位应当依法承担赔偿责任。这包括但不限于修复费用、功能损失补偿以及因此产生的其他合理费用。
3. 返工整改义务：对于已经完成但不符合设计要求的部分，施工单位有义务进行返工和整改，直至满足国家规定的标准和技术规范为止。
4. 信誉影响：此类行为还会影响企业的社会声誉及行业内的评价，可能在未来的招投标活动中受到不利影响。
总之，确保按照设计图纸施工无障碍设施是施工单位的基本职责之一。一旦发生违规情况，除了需要承担相应的经济赔偿外，还有可能面临法律制裁和社会舆论的压力。因此，建议各施工单位严格遵守相关法律法规，保证工程质量与安全。